BN 统计工作台

同一组输入,在训练时依赖当前批统计,在推理时依赖累积的运行统计。亲手更新几步,比只背一句“训练和推理不同”更可靠。

训练模式|使用批统计

先辨认公式中的 momentum

PyTorch:new = (1 − m) × old + m × batch

Keras:new = m × old + (1 − m) × batch

当前 PyTorch m=0.10,新批权重是 0.10;相同新批权重对应 Keras momentum=0.90。

批均值 μ_B
批方差 σ²_B
running mean0.0000
running var1.0000

本次前向:训练模式使用当前批的 μ_B 与 σ²_B;点击训练才会更新 running stats。

输入 → 标准化 → 仿射输出

每条细线追踪同一个样本;三列共用自适应纵轴。
样本输入 x使用均值使用方差标准化 x̂输出 γx̂+β
实验日志已初始化:running mean=0,running var=1。