查看“︁产品组合管理的工具/A-B测试”︁的源代码
←
产品组合管理的工具/A-B测试
跳转到导航
跳转到搜索
因为以下原因,您没有权限编辑该页面:
您请求的操作仅限属于该用户组的用户执行:
用户
您可以查看和复制此页面的源代码。
= A/B 测试(A/B Testing) = == 一句话定义 == '''把用户随机分成两组,一组用旧版本(对照 A),一组用新版本(实验 B),看哪个版本的指标更好,用统计方法判断差异是否真实。''' <hr /> == 解决什么问题 == * 这个改动到底有没有用?(而不是"感觉有用") * 新版本会不会让指标变差? * 两个方案选哪个? * 改动的效果是真实的,还是随机波动? <blockquote>核心思想:'''用"随机分组 + 统计检验"来排除干扰,得出可信的因果结论。'''</blockquote> <hr /> == 核心概念 == {| class="wikitable" |- ! 概念 ! 含义 |- | '''假设''' | H₀(无差异)vs H₁(有差异) |- | '''对照组 / 实验组''' | A 组用旧版,B 组用新版 |- | '''p 值''' | 假设"没差异"时,观察到当前或更极端结果的概率 |- | '''显著性水平 α''' | 通常 0.05(p < 0.05 认为"显著") |- | '''统计功效(Power)''' | 通常 0.8(有 80% 把握检出真实差异) |- | '''置信区间''' | 效果的可能范围 |} <hr /> == 怎么用(步骤) == # '''明确目标''':要验证什么?(如"新按钮位置能否提升导出率") # '''定义指标''':主指标(导出率)+ 护栏指标(不能变差的指标) # '''算样本量''':需要多少用户才能检出差异(见下) # '''随机分组''':用户随机分到 A / B 组 # '''运行测试''':收集数据(别中途偷看!) # '''统计检验''':算 p 值,判断是否显著 # '''决策''':显著且方向正确 → 全量上线;否则 → 放弃或迭代 <hr /> == 完整示例 == === 场景:测试"导出按钮位置"对导出率的影响 === {| class="wikitable" |- ! 组 ! 按钮位置 ! 用户数 ! 导出率 |- | '''A(对照)''' | 右上角 | 5,000 | 20% |- | '''B(实验)''' | 表格下方 | 5,000 | '''27%''' |} '''统计检验(两比例 z 检验)''': <pre> 合并比例 p = (1000 + 1350) / 10000 = 0.235 标准误 SE = √[ p(1−p)(1/n₁ + 1/n₂) ] = √[ 0.235×0.765×(2/5000) ] ≈ 0.0085 z = (0.27 − 0.20) / 0.0085 ≈ 8.25 p 值 < 0.001 → 差异高度显著 </pre> '''结论''':B 组导出率显著高于 A 组 → '''全量上线新按钮位置'''。 <hr /> == 样本量计算(重要) == 要检出"从 p₁ 提升到 p₂"的差异,每组需要的样本量: <pre> n = (z_α/2 + z_β)² × [ p₁(1−p₁) + p₂(1−p₂) ] / (p₁ − p₂)² </pre> * <code>z_α/2</code> = 1.96(α=0.05) * <code>z_β</code> = 0.84(功效=0.8) === 示例 === 要检出"导出率从 20% 提升到 27%"(7 个百分点): <pre> n = (1.96 + 0.84)² × [ 0.20×0.80 + 0.27×0.73 ] / (0.07)² = 7.84 × 0.3571 / 0.0049 ≈ 572 人/组 </pre> <blockquote> '''差异越小,需要的样本量越大'''(平方反比)。 想检出 1% 的差异,可能需要几万人/组。 </blockquote> <hr /> == 常见误区(非常重要) == {| class="wikitable" |- ! 误区 ! 说明 |- | '''样本量不足''' | 差异没检出,不代表"没差异",可能只是样本不够(underpowered) |- | '''过早停止(Peeking)''' | 中途看数据、看到显著就停 → 假阳性率飙升 |- | '''多重比较''' | 同时测 20 个指标,总有 1 个"显著"是偶然 → 需校正(Bonferroni 等) |- | '''辛普森悖论''' | 分组看都涨,合起来却跌 → 检查是否有混杂因素 |- | '''新奇效应''' | 用户因"新鲜感"短期多用,长期回落 → 测试要跑够时间 |- | '''溢出效应''' | 实验组和对照组互相影响(如社交产品)→ 污染结果 |- | '''只看平均值''' | 忽略分布(可能少数用户贡献了大部分效果) |} <hr /> == 优点 / 局限 == {| class="wikitable" |- ! 优点 ! 局限 |- | '''因果关系'''(随机分组 → 排除干扰) | 只能测"能随机分组"的场景 |- | 客观、可重复 | 需要足够流量(小产品跑不起) |- | 能量化效果大小 | 短期指标 ≠ 长期效果 |- | 避免"拍脑袋"决策 | 有些改动无法 A/B(如品牌、定价) |} <blockquote> 关键:'''A/B 测试是"验证"工具,不是"发现"工具'''。 先有假设(来自数据/访谈),再用 A/B 验证。 </blockquote> <hr /> == 与其他工具的关系 == {| class="wikitable" |- ! 工具 ! 作用 ! 与 A/B 的关系 |- | '''漏斗分析''' | 找流失环节 | A/B 的'''输入'''(优化哪个环节) |- | '''产品分析''' | 采集行为数据 | A/B 的'''数据来源''' |- | '''卡诺模型''' | 功能分类 | A/B 的'''决策依据'''(验证功能改动) |- | '''留存分析''' | 看长期效果 | A/B 的'''补充'''(短期指标可能骗人) |} <hr /> == 在产品管理中的应用 == # '''功能改动验证''':新按钮、新流程、新文案 → A/B 验证效果 # '''定价测试''':不同价格对转化的影响 # '''推荐算法''':不同算法的点击率/转化率对比 # '''新用户引导''':不同引导流程的激活率对比 # '''护栏指标''':确保改动不伤害留存、性能等 <hr /> == 一句话总结 == <blockquote> '''A/B 测试 = 随机分组 + 统计检验,用数据回答"这个改动到底有没有用"。 关键是:先算样本量、别中途偷看、警惕多重比较和辛普森悖论。''' </blockquote> <hr /> --- [[Category:产品组合管理]] [[Category:工具清单]]
返回
产品组合管理的工具/A-B测试
。
导航菜单
个人工具
创建账号
登录
命名空间
页面
讨论
大陆简体
查看
阅读
查看源代码
查看历史
更多
移动
搜索
导航
首页
最近更改
随机页面
工具
链入页面
相关更改
特殊页面
页面信息