分词器质量与安全审计台
把规范化、特殊 token、不可见字符、混合脚本、offset 与截断放进同一张检查表。这里的告警是可解释的最小规则，不替代业务侧 Unicode 安全策略或红队测试。
审计输入
样例含全角字符、形似拉丁字母的西里尔字符、特殊 token 字面量、零宽空格和 emoji。
审计结果
原始文本
模型实际接收
把规范化、特殊 token、不可见字符、混合脚本、offset 与截断放进同一张检查表。这里的告警是可解释的最小规则，不替代业务侧 Unicode 安全策略或红队测试。
样例含全角字符、形似拉丁字母的西里尔字符、特殊 token 字面量、零宽空格和 emoji。