梯度冲突与 PCGrad 投影
拖动两个任务的二维梯度。负余弦只说明一阶方向相斥;点击投影后,观察冲突分量如何被移除。
设置两个任务的梯度
任务 A(蓝色)
任务 B(红色)
投影公式:若两个梯度点积小于 0,就从当前梯度中减去它沿另一梯度方向的分量。非冲突时保持原向量。
—点积
—余弦
—夹角
—范数比
拖动两个任务的二维梯度。负余弦只说明一阶方向相斥;点击投影后,观察冲突分量如何被移除。
投影公式:若两个梯度点积小于 0,就从当前梯度中减去它沿另一梯度方向的分量。非冲突时保持原向量。