注意力与掩码实验台
拖动每个源位置的打分,再切换 padding 掩码。实验台先做稳定 softmax,再用权重求位置值的加权平均。
屏蔽 <PAD>
恢复初始值
已启用掩码
为什么要先加掩码再 softmax?因为归一化以后再把 PAD 权重清零,会让剩余权重之和小于 1;重新归一化虽然能补救,但既多一步,也更容易漏掉批次中的不同长度。