注意力上下文配重台

四个对齐分数经过稳定 softmax 后,变成同一目标位置对四个源位置的读取比例。拖动分数,观察权重与上下文向量如何一起变化。

m = max(e)
αᵢ = exp(eᵢ-m) / Σⱼ exp(eⱼ-m)
c = Σᵢ αᵢ hᵢ

对齐分数 e:未归一化的匹配程度

实现先减去最大分数 max(e)。这个操作不改变 softmax 结果,却能避免直接计算 exp(80) 一类大数造成溢出。

权重 α:沿源位置轴归一化

检查轴固定当前查询,只在“我 / 喜欢 / 深度 / 学习”这 4 个源位置之间分配权重,因此每一行的权重和应为 1。
权重和 Σα1.000000
上下文向量 c[0.000, 0.000]

细线表示四个固定 value 向量 hᵢ;粗珊瑚线表示加权结果 c。权重改变,c 会在这些向量的组合范围内移动。