梯度连乘:为什么有时消失,有时爆炸?

把每个时间步的局部雅可比范数简化为同一个数 g。从末端向前回传 k 步后,主要缩放项近似为 gk。这不是真实网络的全部细节,但能显示连乘的数量级。

最早时刻的未裁剪梯度0.0012
应用阈值后0.0012
数量级诊断消失

左边是较近的时刻,右边是更早的时刻;柱高按对数尺度显示。