BN 统计工作台
同一组输入,在训练时依赖当前批统计,在推理时依赖累积的运行统计。亲手更新几步,比只背一句“训练和推理不同”更可靠。
训练模式|使用批统计
先辨认公式中的 momentum
PyTorch:new = (1 − m) × old + m × batch
Keras:new = m × old + (1 − m) × batch
当前 PyTorch m=0.10,新批权重是 0.10;相同新批权重对应 Keras momentum=0.90。
批均值 μ_B—
批方差 σ²_B—
running mean0.0000
running var1.0000
本次前向:训练模式使用当前批的 μ_B 与 σ²_B;点击训练才会更新 running stats。
输入 → 标准化 → 仿射输出
每条细线追踪同一个样本;三列共用自适应纵轴。| 样本 | 输入 x | 使用均值 | 使用方差 | 标准化 x̂ | 输出 γx̂+β |
|---|
实验日志已初始化:running mean=0,running var=1。