早期 SaaS
每月 8,000 名访客，注册率 3%，想看出 10% 的提升。结论：别测了。大约需要 13 个月和 106,000 名访客。四周内能确认的最小提升约为 40%。
每月两百四十次注册，分辨不出 0.3 个百分点的差异。团队的时间最好花在五个用户的访谈上，以及那些大到不用测试也能看出效果的改动上：换个标题不算，换一种定价模式可能算。
我能做 A/B 测试吗？流量自查
这个问题应该在第一次测试之前问，而不是第十次之后。输入你的月访客数、转化率和你真正会据此行动的提升，得到一个直接的答案：可以测、勉强可以，或者别测了，换别的方法。
最后更新
准备好真正学会编程了吗？
Coddy 让你在浏览器里编写真实代码来学习：互动课程、即时反馈，卡住时还有 AI 帮忙。
大多数小网站做不了 A/B 测试，却没人告诉它们
每一份 A/B 测试指南都出自拥有数百万访客的公司。微软的实验团队、Google、Booking.com 和 Airbnb 每年要跑成千上万次测试，他们的建议对他们自己是对的：什么都测，相信数据，谁赢就上线谁。一家每月只有 8,000 名访客的创业公司读到同样的建议，搭起同样的数据面板，然后怎么也想不通，为什么每次测试都停在 87% 的置信度，而提升每周都在缩水。它并没有做错，只是在做一件在这个规模下行不通的事。
这个页面替你做了指南跳过的计算。每月 8,000 名访客、转化率 3% 时，确认 10% 的提升大约需要 106,000 名访客：相当于你十三个月的全部访客，而且整段时间页面都不能改动。在四周内，你能确认的最小提升大约是 40%。这些都不是调参能解决的问题。曾在微软和 Airbnb 负责实验工作的 Ronny Kohavi 认为，要检测个位数的提升，实际门槛是几十万用户；低于这个规模，A/B 测试可能还为时过早，把资源花在用户研究上更划算。
这些话来自我们自己的经历。Coddy 自己的数据面板曾运行过大约二十个命名实验，其中十个是针对单个国家的定价测试，每个只用了一小部分流量；只要置信度低于 95%，面板就显示“继续运行”。其中几个被标记为成功并上线了。用这个计算器回头看，有些测试根本不可能检测出它们被认为带来的提升。那个面板诚实的版本就是这个页面：这些流量能回答什么问题，需要多长时间，以及赢家有多大概率是误报？
什么决定了你能不能做测试
- 限制你的是每月转化数，而不是访客数。一个页面有 8,000 名访客、转化率 3%，每月只有 240 次转化，还要分给两组。z 检验需要每组几百次转化才能说明问题。
- 你会据此行动的提升决定了成本。对自己诚实一点：如果 3% 的提升就会让你上线改动，你就需要一个能看出 3% 的测试，而几乎没有小网站能做到。
- 时间是成本，不是解决办法。一个要跑一个季度的测试会让页面冻结一个季度，跨越不同季节和营销活动，结束时的业务已经和开始时不一样了。
- 你的想法有多常奏效，会改变赢家的含义。如果十个想法里只有一个真正能推动指标，那么在 95% 置信度和 80% 统计功效下，你的“显著”赢家中有超过三分之一是误报。基础比率不是技术细节，它几乎就是答案的大部分。
- 低于门槛时，有更好的方法。和五个用户聊一聊，看看会话录屏，直接上线改动并对比前后数据（接受误差范围很大），或者在更多访客能触达的指标上测试，例如点击而不是购买。
如何进行流量自查
输入会看到测试的月访客数
不是整个网站的访客。如果测试在定价页，就是定价页的访客；如果是结账中的某一步，就是到达这一步的人数。
输入这一步当前的转化率
计算器会显示由此得出的每月转化数，这才是真正的限制。
说出你会据此行动的提升
也就是能让你上线改动的相对提升。大多数人说 10% 并且是认真的；如果你的数字更小，请如实填写。
查看结论和阶梯表
可以测表示不到一个月。勉强可以表示不到一个季度，而且整段时间页面都要冻结。别测了表示以你的流量，这个测试无法回答这个问题。阶梯表则显示更大的提升分别需要多少成本。
选择基础比率，查看假阳性风险
选择你的想法真正奏效的频率。卡片会显示在这个比率下，显著结果中有多大比例是误报。下次测试结果变绿时，记住的应该是这个数字。
在 95% 置信度、80% 统计功效下确认 10% 提升所需的月数
两组测试，所有访客都进入测试。找到你所在的行和列即可。
| 月访客数 | 基线 1% | 基线 3% | 基线 5% | 基线 10% |
|---|---|---|---|---|
| 3,000 | 超过 100 个月 | 35 个月 | 21 个月 | 9.8 个月 |
| 8,000 | 41 个月 | 13 个月 | 7.8 个月 | 3.7 个月 |
| 25,000 | 13 个月 | 4.3 个月 | 2.5 个月 | 5 周 |
| 100,000 | 3.3 个月 | 5 周 | 19 天 | 9 天 |
| 500,000 | 20 天 | 6 天 | 4 天 | 2 天 |
三个网站，三种结论
内容网站
每月 50,000 名访客，邮件订阅率 2%，想看出 10% 的提升。结论：勉强可以。大约需要 3.2 个月。四周内能确认的最小提升约为 19%。
可以测试，但只适合大胆的改动。如果调整表单位置可能让订阅数变动五分之一，就值得测；测试按钮文案就不值得。另一种做法是在点击进入表单这一步上测试，做这个动作的访客要多得多。
交易平台
每月 400,000 名访客，转化率 4%，想看出 10% 的提升。结论：可以测。所需访客不到一周就能到齐；不过还是要完整跑满两周。
A/B 测试指南正是为这种规模写的。剩下的风险是基础比率：如果五个想法里有一个真正奏效，那么大约每六个显著赢家中仍有一个是误报。偷看模拟器标签页会告诉你，每天查看会让情况恶化得多快。
小流量测试的常见错误
- 照样跑测试，然后在 85% 时就读结果。你设定的置信水平，是你愿意被骗的频率的承诺。事后在低于它的水平读结果，等于从没设定过。
- 测试很小的改动。按钮颜色和措辞替换带来的提升，最好也只有几个百分点，小网站根本检测不出来。如果一定要测，就测一个可能让数字变动三分之一的改动。
- 在漏斗底部测试。购买很少，点击很多。在通往购买的那次点击上做测试，事件数多十倍，测试才能跑完。
- 让测试跑上六个月。季节、营销活动和产品改动都会渗进去，两组最终测量的是不同的时期。
- 因为显著就相信赢家。当你的想法中真正的赢家很少时，显著结果是误报的概率比 p 值暗示的更高。假阳性风险卡片会给出具体数字。
- 把“不显著”当成“这个想法失败了”。在小流量下，几乎什么都不显著。想法可能没问题，只是测试看不出来。
流量自查常见问题
做 A/B 测试需要多少流量？
这取决于你的转化率和你想看出的提升，所以本页两个都要问。粗略来说，在 3% 转化率上确认 10% 的相对提升大约需要 100,000 名访客；确认 30% 的提升大约需要 12,000 名。每月访客不到 10,000 的网站，通常只能检测到非常大的效果。
小网站不做 A/B 测试，应该做什么？
和用户聊，当面或者通话：五次对话就能发现页面上的大部分问题。看会话录屏。做大胆的改动，上线后对比前后几周的数据，同时清楚这种对比很粗略。在更多访客能触达的指标上测试。等流量上来了，再回到这里好好做测试。
什么是假阳性风险？它和 p 值有什么不同？
p 值告诉你，如果什么都没变，这个结果会有多出人意料。假阳性风险告诉你，在结果显著的测试中，有多少背后其实什么都没有。它取决于你的想法真正奏效的频率：在 10% 基础比率、95% 置信度和 80% 统计功效下，大约 36% 的显著赢家是误报。大型实验团队报告说，只有 10% 至 33% 的想法能推动指标，这就是基础比率如此重要的原因。
3.5 个月的测试真的不可能吗？
不是不可能，在一个季度以内，计算器给出的是“勉强可以”而不是“别测了”。但冻结一个季度的页面就是一个没人在改进的页面，而跨越一个季节或一次营销活动的测试，比较的是两个不同的时期。如果改动大到值得等一个季度，它很可能也大到可以直接上线，再对比前后数据。
可以把置信度降到 90% 让测试更快吗？
可以，前提是在测试开始前就决定，并且接受在基础比率影响之外再加上十分之一的误报率。这大约能把测试缩短三分之一，而不是小网站需要的十倍。提高你要检测的提升，效果要大得多。
为什么样本量计算器给出了数字，这里却说别测了？
两者用的是同一个公式。样本量页面告诉你需要多少人；本页把它除以你的流量，再对结果做出判断。106,000 名访客是一个数字，十三个月则是一个结论。
