交叉验证预处理泄漏实验

样本量 120

噪声强度 25%

折数

随机种子

预处理放在哪里？ 正确：折内预处理 每折只用训练样本拟合缩放参数 错误：全量预处理 切折前已让验证样本参与缩放

边界干净

验证折只负责打分，不参与本折均值与标准差的计算。

样本 120 个 CV 样本 另留一份独立测试集

划分 5 组训练 / 验证折 种子固定时划分可复现

缩放参数来源 每折训练样本 验证样本被排除

评分 逐折验证后取均值 最后再对照独立测试分数

当前 CV 均分 — 折内预处理

独立测试分数 — 测试样本始终锁在流程外

泄漏抬高估计 — 错误 CV 均分 − 正确 CV 均分

当前 CV − 测试 — 普通抽样波动

每一折到底看了谁

边界线圈出验证折；第二条带显示均值与标准差的实际来源。

训练验证参与缩放

实色柱是当前流程；浅色柱保留反事实流程，便于逐折对照。

纵轴是教学代理分数。独立测试线不随开关移动，因为测试样本从未参与缩放参数或交叉验证。

每折重新计算均值和标准差；验证折只接受变换和评分。

独立测试集保持封存 模型选择完成后才打开；它不会反向影响缩放参数。

标准化本身没有问题。问题是均值、标准差、缺失值填充值或特征选择规则提前使用了验证折的信息。正确做法是把预处理和模型放进同一条折内流水线。

页面用受样本量、噪声和折间波动影响的代理分数，专门隔离“缩放参数来源”这一差异。它不声称复现某个具体算法的真实精度；相同控件和种子会得到完全相同的结果。