链式法则与梯度流实验台
每层都只贡献一个“权重 × 激活导数”,但连乘很多次后,尺度会发生质变。
调整链条
深度
权重绝对值
预激活值 z
激活函数
tanh
sigmoid
ReLU
线性
观察消失
观察爆炸
重置
键盘:↑/↓ 改变深度,R 重置。图中使用对数刻度,因此很小的梯度仍可见。
从输出回到早期层
梯度绝对值
平稳区
极小区
极大区