把实验结果送过四道闸门
这个例子沿用工单分流场景:我们希望紧急工单更快得到响应,但不能挤压普通队列,也不能把人工队列和在线服务推到危险区。
当前发布结论
需继续实验护栏安全,但业务提升还没有达到最低门槛。
3 / 4 道闸门通过-
业务提升门待提升
等待计算。
-
普通队列护栏通过
等待计算。
-
人工负载护栏通过
等待计算。
-
p95 延迟护栏通过
等待计算。
判定优先级:合同无效或任一护栏越界 → 不可发布;护栏全部安全但业务提升不足 → 需继续实验;四道闸门全部通过 → 可发布。
先分清三层指标,再看结论
三层指标回答的不是同一个问题。模型指标适合指导开发,业务指标和护栏指标才共同决定线上实验是否值得继续扩量。
-
业务指标
回答“真实决策有没有带来想要的结果”。本实验用紧急工单 p90 响应时间下降表示,必须达到预先约定的最小提升。
-
模型或代理指标
回答“预测是否更接近标签”,例如紧急工单召回率、排序质量。它是迭代和离线筛选的尺子,不能单独替代发布结论。
-
护栏指标
回答“这次改善是否换来了不能接受的代价”。普通队列、人工负载和延迟任何一项越界,都会否决发布。