梯度方向与学习率互动实验
蓝色等高线是损失地形，红色箭头是当前位置的负梯度方向。改变学习率和两个方向的曲率，观察同一个更新公式为什么会走得平稳、来回震荡，甚至越走越远。
L(θ) = ½(k₁θ₁² + k₂θ₂²)
θ ← θ − η∇L(θ)
θ ← θ − η∇L(θ)
损失地形与参数轨迹
等高线负梯度更新轨迹
当前 θ(4.000, 2.800)
梯度 ∇L(4.000, 8.400)
损失 L19.7600
更新步数0
✓ 平稳下降当前学习率低于两个方向的稳定上限，损失会逐步减小。
读图要领
- 等高线越密，表示同样距离内损失变化越快，也就是该方向曲率更大。
- 梯度指向损失上升最快的方向；参数更新使用负梯度，因此红色箭头朝向下降方向。
- 对这个二次函数，某方向稳定下降需满足 0 < ηk < 2。越过 1 后参数会跨过谷底，越过 2 后振幅反而增大。
观察任务
先把 k₂ 调到 4，再缓慢增大学习率。你会看到 θ₂ 先出现左右换边，随后轨迹逃离图面。这说明“学习率是否合适”不能脱离损失地形的最大曲率单独判断。