优化器如何穿过狭长峡谷
同一个损失表面上,切换 SGD、动量与 Adam,比较当前梯度和历史状态对轨迹的影响。
已运行步数0
当前损失30.24
参数 x-3.20
参数 y2.60
为保证对照可复现,噪声来自固定伪随机序列。更换优化器、学习率或噪声后会自动回到同一起点。
起点最优点参数轨迹淡色等高带:损失越深颜色越暖
同一个损失表面上,切换 SGD、动量与 Adam,比较当前梯度和历史状态对轨迹的影响。
为保证对照可复现,噪声来自固定伪随机序列。更换优化器、学习率或噪声后会自动回到同一起点。