应用机器学习 · 实验排期桌

先验证哪一个想法,何时停下来?

把候选动作放到同一张桌面上:预计影响、证据把握和成本决定粗排顺序,预算决定能装下多少项;安全护栏一旦不通过,再高的分数也不能进入队列。

设定本轮边界

预算使用相对成本点,不假装等同于精确工时。风险上限和护栏状态共同构成硬门槛。

先定边界

成本点用于相对比较:1 接近一次快速抽查,12 接近一轮重训练与完整评估。

风险高于该值,或护栏还在待评审 / 已违反状态,都会被硬否决。

从一个情境开始

预设只是一组起点。选中后仍可逐项改分、改止损,再决定是否加入队列。

优先分 = 影响 × 把握 ÷ 成本

风险不进入平均分。风险超限或护栏未通过时直接否决;这样,高收益不能抵消隐私、法规或关键切片伤害。

比较候选实验

拖动四项参数。松开滑块后,卡片会按优先分重新排序;被硬否决的实验固定放在末尾。

0 项可排队

本轮实验队列

队列顺序沿用当前优先分。每一项都带着止损条件进入排期,避免实验开始后再为失败补定义。

可执行草稿
队列长度0 项
预算余量10 点
预计收益0.0 点
最高单项风险
    还没有实验进入队列。先确认止损条件,再在候选卡片上勾选“加入本轮队列”。

    怎样读这份粗排

    分数的价值是暴露假设,不是制造小数点精确感。下面四个限制应和队列一起看。

    保留不确定性
    影响不能直接相加

    标签抽查、定向补数据和调阈值可能修复同一批错误。页面把收益点相加只是便于盘点,类别重叠时会高估组合收益。

    证据把握不是成功概率

    “4 分把握”是团队对现有证据的判断,不代表实验有 80% 成功率。应在卡片证据、样本量和不确定性区间中留下依据。

    成本点不等于精确工期

    成本还受标注排期、上游字段、算力和评审依赖影响。进入真实排期前,需要把相对点数换成负责人、时间与依赖清单。

    硬护栏不能由收益抵消

    关键切片伤害、隐私或法规风险一旦未通过,页面会直接撤出队列。提高预算或影响分都不会解除否决,只有补齐评审或改变方案才行。

    一个实用检查:如果实验失败,你是否仍能从止损记录中判断“原假设不成立”“依赖暂不可用”或“效果不足”?如果答案是否定的,这张卡还没有写完。