可计算 · 每一步都能回放
BPE 合并实验台
从字符开始,真实统计相邻符号对。每点一次“下一次合并”,频率最高的一对会成为新 token;观察高频片段怎样变短,而生僻片段仍保持细粒度。
第 0 次合并
训练语料
这里把每一行当作独立词条,不跨行合并。修改语料会重新训练,频次会直接改变合并顺序。
键盘:← / → 回放,空格暂停或继续。
从字符开始,真实统计相邻符号对。每点一次“下一次合并”,频率最高的一对会成为新 token;观察高频片段怎样变短,而生僻片段仍保持细粒度。
这里把每一行当作独立词条,不跨行合并。修改语料会重新训练,频次会直接改变合并顺序。
键盘:← / → 回放,空格暂停或继续。