实验记录 03 · 传播稳定性
梯度稳定性实验台
多层局部尺度连乘,会放大很小的偏差。初始化决定起点;裁剪只限制过大的更新,不能把已经消失的梯度变回来。
裁剪前全局范数0.000
裁剪后全局范数0.000
逐层尺度轨迹
纵轴为以 10 为底的对数;横轴从输入侧走向输出侧。
传播状态
怎样解释当前结果
| 层 | 前向信号 | 梯度(裁剪前) | 梯度(裁剪后) |
|---|
这是用于理解乘法效应的尺度模型,不替代真实网络监控。实践中还要记录激活分布、零值比例、逐层梯度范数、损失尺度与裁剪触发频率。