同一句话，四种边界
子词切分对照台
切换算法、规范化与特殊 token，观察 token 数、字符偏移和可逆性怎样一起变化。这里的词表刻意很小，方便看清规则；生产系统应使用训练时冻结的完整配置。
输入与配置
偏移采用 JavaScript 字符串索引，即 UTF-16 code unit 区间；emoji 通常占两个位置。工程中必须先确认库返回的是字节、码点还是 UTF-16 偏移。
切换算法、规范化与特殊 token，观察 token 数、字符偏移和可逆性怎样一起变化。这里的词表刻意很小，方便看清规则；生产系统应使用训练时冻结的完整配置。
偏移采用 JavaScript 字符串索引，即 UTF-16 code unit 区间；emoji 通常占两个位置。工程中必须先确认库返回的是字节、码点还是 UTF-16 偏移。