Unigram 分词路径实验室

Unigram 给每个候选子词一个概率，一条切分路径的分数是各 token 概率的乘积。你可以选最高概率路径，也可以调节温度后采样，让训练反复看到等价的不同切法。