CHAPTER 08 · EXPERIMENT NOTE 02

验证集样本量与置信度实验

同一个错误率，来自 100 个样本还是 10,000 个样本，可信程度并不相同；而验证集与测试集若抽自不同场景，数字再精确也可能比较错对象。

一、样本量怎样收窄误差范围

10.0%

这里的 p 是验证集上观察到的错误比例，不是对真实错误率的保证。

1,000
SE ≈ √[ p(1 − p) / n ]
近似标准误 SE0.95%
95% 误差范围 ±1.96SE±1.86%
近似区间8.14%—11.86%

二、验证与测试是否在测同一目标

假设线上流量由两个场景组成。分别调节验证集与测试集的抽样构成；颜色和文字共同标识场景。

场景 A：常规光照 场景 B：低光环境
70%
70%

构成一致也不代表完全同分布；还应检查时间、地区、设备、用户与标签流程。这里先用一个维度显影“抽样目标不同”的问题。