一个低概率词,如何拉高整句困惑度?
假设句子有四个待预测位置。拖动每个位置的“正确词概率”,观察联合概率、平均负对数似然和困惑度怎样同时变化。
四步都自信
一步犹豫
均匀不确定
重置
位置 1
0.80
位置 2
0.70
位置 3
0.60
位置 4
0.50
整句联合概率
0.1680
平均负对数似然
0.446
困惑度
1.56