神经网络表示 本章约定:样本按行排列

张量形状实验

把每一层的形状对上

先看维度,不急着看数值。输入保持 (批量, 特征),权重保存为 (输出宽度, 输入宽度),前向传播使用 A @ W.T + b

先改架构,再看乘法

五个滑块会同时更新形状链、广播结果和参数量。错误开关用来故意复现两类高频问题。

5
1样本行数16
4
1每个样本16
6
1隐藏层 116
3
1隐藏层 216
2
1输出分数12
故障注入 打开后,公式会真的按错误形状重新检查。
当前架构
4 → 6 → 3 → 2
一次处理 5 个样本
可学习参数
59
批大小不会改变它
前向检查
全部对齐
三层都得到预期形状

形状链

每张账单先检查矩阵乘法的内维,再检查偏置能否沿批量维广播。激活函数不改变形状。

偏置广播显微镜

正确的 (d,) 偏置与结果的最后一维对齐,然后在每个样本行上复用。

参数量账本

一层有 d_out × d_in 个权重和 d_out 个偏置。

当前三层全连接网络的参数数量
连接 权重 偏置 小计

形状诊断

这里不仅报告“能不能算”,也会指出尺寸碰巧相等时被掩盖的语义错误。