产品组合管理的工具/A-B测试

来自pm_wiki
跳转到导航 跳转到搜索

A/B 测试(A/B Testing)

一句话定义

把用户随机分成两组,一组用旧版本(对照 A),一组用新版本(实验 B),看哪个版本的指标更好,用统计方法判断差异是否真实。


解决什么问题

  • 这个改动到底有没有用?(而不是"感觉有用")
  • 新版本会不会让指标变差?
  • 两个方案选哪个?
  • 改动的效果是真实的,还是随机波动?

核心思想:用"随机分组 + 统计检验"来排除干扰,得出可信的因果结论。


核心概念

概念 含义
假设 H₀(无差异)vs H₁(有差异)
对照组 / 实验组 A 组用旧版,B 组用新版
p 值 假设"没差异"时,观察到当前或更极端结果的概率
显著性水平 α 通常 0.05(p < 0.05 认为"显著")
统计功效(Power) 通常 0.8(有 80% 把握检出真实差异)
置信区间 效果的可能范围

怎么用(步骤)

  1. 明确目标:要验证什么?(如"新按钮位置能否提升导出率")
  2. 定义指标:主指标(导出率)+ 护栏指标(不能变差的指标)
  3. 算样本量:需要多少用户才能检出差异(见下)
  4. 随机分组:用户随机分到 A / B 组
  5. 运行测试:收集数据(别中途偷看!)
  6. 统计检验:算 p 值,判断是否显著
  7. 决策:显著且方向正确 → 全量上线;否则 → 放弃或迭代

完整示例

场景:测试"导出按钮位置"对导出率的影响

组 按钮位置 用户数 导出率
A(对照) 右上角 5,000 20%
B(实验) 表格下方 5,000 27%

统计检验(两比例 z 检验):

合并比例 p = (1000 + 1350) / 10000 = 0.235
标准误 SE = √[ p(1−p)(1/n₁ + 1/n₂) ] = √[ 0.235×0.765×(2/5000) ] ≈ 0.0085
z = (0.27 − 0.20) / 0.0085 ≈ 8.25
p 值 < 0.001  →  差异高度显著

结论:B 组导出率显著高于 A 组 → 全量上线新按钮位置。


样本量计算(重要)

要检出"从 p₁ 提升到 p₂"的差异,每组需要的样本量:

n = (z_α/2 + z_β)² × [ p₁(1−p₁) + p₂(1−p₂) ] / (p₁ − p₂)²
  • z_α/2 = 1.96(α=0.05)
  • z_β = 0.84(功效=0.8)

示例

要检出"导出率从 20% 提升到 27%"(7 个百分点):

n = (1.96 + 0.84)² × [ 0.20×0.80 + 0.27×0.73 ] / (0.07)²
  = 7.84 × 0.3571 / 0.0049
  ≈ 572 人/组

差异越小,需要的样本量越大(平方反比)。 想检出 1% 的差异,可能需要几万人/组。


常见误区(非常重要)

误区 说明
样本量不足 差异没检出,不代表"没差异",可能只是样本不够(underpowered)
过早停止(Peeking) 中途看数据、看到显著就停 → 假阳性率飙升
多重比较 同时测 20 个指标,总有 1 个"显著"是偶然 → 需校正(Bonferroni 等)
辛普森悖论 分组看都涨,合起来却跌 → 检查是否有混杂因素
新奇效应 用户因"新鲜感"短期多用,长期回落 → 测试要跑够时间
溢出效应 实验组和对照组互相影响(如社交产品)→ 污染结果
只看平均值 忽略分布(可能少数用户贡献了大部分效果)

优点 / 局限

优点 局限
因果关系(随机分组 → 排除干扰) 只能测"能随机分组"的场景
客观、可重复 需要足够流量(小产品跑不起)
能量化效果大小 短期指标 ≠ 长期效果
避免"拍脑袋"决策 有些改动无法 A/B(如品牌、定价)

关键:A/B 测试是"验证"工具,不是"发现"工具。 先有假设(来自数据/访谈),再用 A/B 验证。


与其他工具的关系

工具 作用 与 A/B 的关系
漏斗分析 找流失环节 A/B 的输入(优化哪个环节)
产品分析 采集行为数据 A/B 的数据来源
卡诺模型 功能分类 A/B 的决策依据(验证功能改动)
留存分析 看长期效果 A/B 的补充(短期指标可能骗人)

在产品管理中的应用

  1. 功能改动验证:新按钮、新流程、新文案 → A/B 验证效果
  2. 定价测试:不同价格对转化的影响
  3. 推荐算法:不同算法的点击率/转化率对比
  4. 新用户引导:不同引导流程的激活率对比
  5. 护栏指标:确保改动不伤害留存、性能等

一句话总结

A/B 测试 = 随机分组 + 统计检验,用数据回答"这个改动到底有没有用"。 关键是:先算样本量、别中途偷看、警惕多重比较和辛普森悖论。


---