Beam Search 候选树实验
小词表也会形成指数级候选空间。逐层展开,比较只走局部最高概率的贪心,与每步保留 K 条前缀的 beam search。
近似搜索 ≠ 全局保证
Beam 宽度 K
1(等价贪心)
2
3
长度惩罚 α:
0.6
上一步
展开下一步
排序分 = 累计 log 概率 ÷ 长度
α
| 本实验长度计入 <eos>,完成候选不再扩展
贪心当前路径(每步只取最大条件概率)
<bos>
当前 beam 最优路径
<bos>
保留
剪枝
已遇到 EOS