实验记录 03 · 传播稳定性

梯度稳定性实验台

多层局部尺度连乘,会放大很小的偏差。初始化决定起点;裁剪只限制过大的更新,不能把已经消失的梯度变回来。

裁剪前全局范数0.000
裁剪后全局范数0.000

逐层尺度轨迹

纵轴为以 10 为底的对数;横轴从输入侧走向输出侧。

逐层信号与梯度尺度 显示网络各层的前向信号和裁剪前反向梯度尺度。 对数尺度 放大 基准 缩小 输入侧 输出侧

传播状态

怎样解释当前结果

    前向信号梯度(裁剪前)梯度(裁剪后)

    这是用于理解乘法效应的尺度模型,不替代真实网络监控。实践中还要记录激活分布、零值比例、逐层梯度范数、损失尺度与裁剪触发频率。