显著性检验 · A/B 测试
差异是真的，还是偶然的？
把两组访客和转化放进同一个检验框架：先看转化率差异，再用合并比例估计随机波动，最后用近似 p 值判断这次差异是否足够罕见。
α = 0.05
实验数据
A 组 旧版本
B 组 新版本
转化数必须介于 0 和访客数之间。这里使用双侧两比例 z 检验，原假设 H0 为 A、B 的真实转化率相同。
检验结果
H0: pA = pB
正在计算
输入数据后会显示 p 值和检验结论。
A 组转化率
--
--
B 组转化率
--
--
B - A 差值
--
--
合并比例 p̂
--
按 H0 合并两组估计
标准误 SE
--
随机波动的典型尺度
z 值 / 近似 p 值
--
--
转化率对比
z 值在零差异分布中的位置
p̂A = xA / nA，p̂B = xB / nB；差值看 p̂B - p̂A。p̂ = (xA + xB) / (nA + nB)，SE = √[p̂(1-p̂)(1/nA+1/nB)]。z = (p̂B - p̂A) / SE；z 离 0 越远，越不像“真实无差异”下的随机波动。p ≈ 2 × (1 - Φ(|z|))；若 p < 0.05，拒绝 H0。
统计显著 ≠ 业务重要
结论出来后，还要看差值是否足以覆盖上线成本、风险和长期指标影响。