明日清单 · 印刷工坊

提醒试验读数台

别急着盯住“谁点开了通知”。先把一群从同一起跑线出发的用户送上两条传送带:一条收到提醒,一条不收。你要读的,是这次安排本身改变了什么,以及它带来了什么代价。

案例:次日可关闭提醒 · 七天任务完成
试验工单:符合条件的新用户 → 随机分配 → 同期读取结果正在:入组
同一起跑线完成首个任务,尚未自设提醒
收到提醒
不收提醒
第一步:先圈定资格。每个进入试验的人都已完成首个任务;这样,“明早提醒”对两组说的是同一件事。

先选你的比较方式

一种看起来更“精准”,却会把用户后来做出的选择塞回比较里;另一种保留最初随机安排,回答的是产品真正能提供什么。

提醒组
36.1%
对照组
33.7%
读数:两组从同一起点由系统随机分开。这里的差别估计的是“提供次日提醒”带来的平均变化,包含有人忽略通知、有人关闭权限的真实世界。
七天任务完成每 100 人多约 2 人完成任务
别漏看副作用关闭通知:提醒组 7.1%,对照组 4.8%
把它带回会议:先报告“提供提醒”的整体效果,再把通知关闭、投诉和长期留存放在同一张结果单上。一个高点击率,并不能替代一次好的产品决策。