实验记录 01 · 评估可信度
数据边界与泄漏实验台
先确定谁可以影响模型，再讨论切多少。切换划分方式并打开风险项，观察评估结论在哪一步失去独立性。
随机划分：先确认样本真的独立
训练集学习参数与预处理统计量
验证集选择方案与停止时机
测试集最终独立评估
打乱后切分并不自动可靠；如果相邻样本来自同一主体或同一段时间，它们仍可能高度相似。
训练集可以拟合
模型权重、偏置、标准化统计量、特征选择器。
验证集可以选择
结构、超参数、决策阈值、最佳检查点。
测试集只做评估
方案锁定后打开；结果不再反向指导本轮开发。
边界暂未发现显式破口
当前设置仍需核对部署分布、标签口径与样本关联。
- 验证集与测试集应按相同目标口径抽样。
- 集合大小应由指标波动、少数类数量和所需精度决定，不由固定比例决定。
按当前设置修复
- 先写清部署时的主体、时间和业务来源。
- 保存划分索引，再在训练部分拟合所有需要学习统计量的步骤。
- 锁定方案后再打开测试集，并记录打开时间。
注意：轨道宽度只是职责示意，不代表推荐比例。验证集与测试集多大，应由置信区间、关键切片和候选方案差异共同决定。