注意力 Mask 检票矩阵
每一行是一个查询位置,每一列是一个键位置。切换规则,观察哪些查询—键配对会在 softmax 前被挡住。
此页约定只对应:
nn.MultiheadAttention 的布尔 mask:True = 禁止参与注意力。每一行是一个查询位置,每一列是一个键位置。切换规则,观察哪些查询—键配对会在 softmax 前被挡住。
nn.MultiheadAttention 的布尔 mask:True = 禁止参与注意力。