Batch 梯度噪声实验室

先抽一个 batch，再看它把参数推向哪里

批量预设

损失模型

批大小 b6

学习率 η0.180

随机种子

当前第 0 步 · 参数 (−2.40, +2.20)

Batch 梯度 ĝ — —

全量梯度 g — 全部 24 个样本求平均

方向夹角 — ĝ 与 g；0° 表示完全同向

理论梯度方差 — E‖ĝ−g‖²，含有限总体修正

箭头是上坡梯度；更新沿反方向

batch 梯度 ĝ 全量梯度 g 参数轨迹

—

偏差修正 EMA，β=0.88

原始 batch 损失平滑 batch 损失全量损失

同一参数点下 Batch GD、SGD 和 mini-batch 的理论梯度方差对比。
方式	批大小	方差 E‖ĝ−g‖²	每步样本数

均匀抽取且 batch 内求平均时，所有可能 batch 梯度的期望等于全量梯度。它不要求当前这一批恰好同向。

在当前的无放回抽样中，batch 均值的方差是 (1−b/m)S²/b。b=m 时方差精确为 0。

参数更新是 θ←θ−ηĝ。小 batch 和大学习率放在一起，轨迹会更抖，单步损失也可能上升。