机器学习系统设计 · 行动诊断

学习曲线不是体检报告,它要帮你决定下一轮实验

把训练规模沿横轴展开,我们同时看三件事:训练与验证还差多少、验证误差是否继续下降、重复实验的波动有多宽。只有证据方向一致,才谈加数据、加容量或加强正则。

在曲线上停一下,再决定往哪边改

选择典型局面,或调节样本量、模型容量和噪声。曲线使用同一口径的预测误差;阴影表示重复实验的示意波动范围,不是置信区间。

预设:更多数据可能有用
典型局面

预设只是一组可重复的观察起点。拖动当前样本位置时,局部斜率会变化,建议也可能随之改变。

训练规模与预测误差

纵轴越低越好;同一规模下都重新拟合完整训练流水线。

当前 5.5 万
训练与验证学习曲线 训练误差、验证误差及其波动范围。可点击或左右拖动选择当前训练样本量,也可使用方向键。
训练误差 验证误差 重复实验波动带

操作:在图内点击或左右拖动;图表获得焦点后可用 ← → 微调、Page Up / Page Down 大步移动、Home / End 跳到两端。

把观察翻译成可证伪的下一步

同样是“验证误差高”,行动可能完全不同。先写下曲线证据,再只改变一个主变量,下一轮结果才知道该归因给谁。

差距大,验证仍稳定下降 → 加数据

优先补同分布、相互独立且符合上线边界的样本。先比较预期收益、波动和收集成本,不承诺任意来源的数据都有效。

两条曲线高位靠拢且变平 → 加容量

先确认标签、特征信息和优化过程没有坏,再提高表达能力、加入有效特征,或减弱过强约束。

差距大,验证已经变平 → 加强正则

可比较更强正则、更低容量、数据增强或早停。若差距来自分布偏移,单靠正则化不会解决。

曲线跳动或波动带很宽 → 先查切分

固定实体或时间边界,增加重复切分和随机种子;同时查近重复样本、类别不足、训练失败和标签混杂。