时间链梯度实验台
把每一步的局部雅可比近似为同一个倍率 ρ,观察连乘如何随时间跨度变化。纵轴使用 log₁₀|梯度|,因此直线斜率就是指数衰减或增长的速度。
梯度消失
—
这是一维近似,真实 RNN 中每一步是矩阵,方向是否对齐也会影响结果;但“很多个小于 1 的有效倍率相乘”仍是诊断消失梯度的核心直觉。
把每一步的局部雅可比近似为同一个倍率 ρ,观察连乘如何随时间跨度变化。纵轴使用 log₁₀|梯度|,因此直线斜率就是指数衰减或增长的速度。
这是一维近似,真实 RNN 中每一步是矩阵,方向是否对齐也会影响结果;但“很多个小于 1 的有效倍率相乘”仍是诊断消失梯度的核心直觉。