可计算 · 每一步都能回放

BPE 合并实验台

从字符开始,真实统计相邻符号对。每点一次“下一次合并”,频率最高的一对会成为新 token;观察高频片段怎样变短,而生僻片段仍保持细粒度。

第 0 次合并

训练语料

这里把每一行当作独立词条,不跨行合并。修改语料会重新训练,频次会直接改变合并顺序。

键盘:← / → 回放,空格暂停或继续。

当前状态

下一步候选排行