缩放点积注意力实验台
调节匹配强度和头维,观察分数、softmax 权重与输出混合如何一起变化。
控制面板
当前 Query
我
喜欢
自然语言
处理
重点增强的 Key
我
喜欢
自然语言
处理
额外匹配强度
2.0
每头维度 dₖ
64
除以 √dₖ(取消后可观察 softmax 过早变尖)
交换 Query 与增强 Key
重置
当前一行注意力
权重行和
1.000000
最大权重
0
分布熵
0