误差不是一个数,而是三段路
依次比较参考水平、训练集、同来源的训练-开发集与目标开发集。调整滑块,观察“拟合不够”“同源泛化”“跨域落差”如何分开。
来自可比人工、强基线或任务可达到水平的估计。
快速切换:
0%15%30%
参考
训练
训练-开发
目标开发
可避免偏差线索+2.0%训练 − 参考
方差线索+6.0%训练-开发 − 训练
分布不匹配线索+8.0%目标开发 − 训练-开发
方差与分布不匹配都值得优先调查
读数边界:差值只在任务、指标、阈值和标签规则可比时才有解释力。决策前还要看样本量、置信区间、重复抽样和关键切片;参考水平也不等于已知的贝叶斯误差。