时间链梯度实验台

把每一步的局部雅可比近似为同一个倍率 ρ,观察连乘如何随时间跨度变化。纵轴使用 log₁₀|梯度|,因此直线斜率就是指数衰减或增长的速度。

0.85
40 步
梯度消失

这是一维近似,真实 RNN 中每一步是矩阵,方向是否对齐也会影响结果;但“很多个小于 1 的有效倍率相乘”仍是诊断消失梯度的核心直觉。