机器学习系统设计 · 数据边界

数据切分与泄漏边界实验室

先选模型上线后真正要面对的对象,再看切分线有没有把它隔开。比例看起来整齐,不等于验证条件可信。

当前要追问 如果要服务新用户,验证集里为什么还能出现训练用户?

先定评估对象

你希望模型泛化到谁?

同一份数据,目标不同,正确边界也不同。下面的每次选择都会重排样本并重算风险。

新用户 · 随机切分
目标泛化对象
当前切分策略
泄漏开关
快速预设

样本边界图

训练与验证到底隔开了什么?

六位用户各有四个月记录。点击样本卡,可以核对实体、时间、集合和近重复关系。

当前边界 逐行散落,没有实体隔离

同一用户的记录可能同时进入训练、验证和测试。

训练集 验证集 测试集 跨集合近重复