各バリエーションの訪問者数とコンバージョン数を入力してください。結論を一文で、p値をその計算過程つきで、信頼区間、Bが優れている確率(ベイズ)、トラフィック配分が壊れていないかのチェック、そしてこのテストがそもそも検出できた最小の改善率まで表示します。
最終更新
Coddyはブラウザ上で実際にコードを書きながら学ぶサービスです。インタラクティブなレッスン、即時フィードバック、行き詰まったときのAIサポート付き。
A/Bテストの計算ツールはどれもp値を表示します。しかしほとんどはそこで止まり、だから創業者は「信頼度87%」の画面を眺めて、これが何を意味するのか考え込むことになります。このツールは、次に何をすべきかを実際に決める問いに答えます。差は偶然で生まれる範囲より大きいのか? 本当の改善率は、最悪と最良でどのくらいか? 「有意差なし」と出たなら、このサンプルサイズでそもそも何かを検出できたのか? そしてトラフィックの配分自体は健全か、それとも最初から等しくなかった2つのグループを比べているのか?
計算には標準的な2標本の比率のz検定を使います。Optimizelyの旧エンジン、VWOの頻度論モード、そしてあらゆる統計の教科書と同じ方法で、算術の各行を表示します: プールした率、標準誤差、zスコア、裾の面積。その横にベイズ的な答え、つまりBの真の率がAを上回る確率を並べます。「Bが優れている確率は91%」こそ、多くの人がp値に期待していた一文であり、しかもそれはp値とは別の数字だからです。
このツールは、自社のダッシュボードを見直したことから生まれました。Coddyでは名前のついた実験を20件ほど行い、そのうち10件は少量のトラフィックで走らせた国別の価格テストでした。社内ツールは信頼度が95%を下回るあいだ「続行してください」と信頼度バーの下に表示していました。それは優しい顔をした「任意停止」です。横に並ぶ3つのタブ(サンプルサイズ、現実チェック、途中確認シミュレーター)があるのは、有意差だけを報告する計算ツールは自分をより速く騙すための道具になってしまうからです。
訪問者数はそのバリエーションに振り分けられた人数であって、ページビューではありません。コンバージョンは測定対象の行動(登録、購入、クリック)をした人数です。どちらも両群で同じ方法で数える必要があります。
95%の両側検定がデフォルトで、Bが良くも悪くもなり得るときの正直な選択です。片側検定は、Bが悪化した場合を「変化なし」とまったく同じように扱うときだけに使いますが、そのケースは思われているより稀です。
バナーはデータが何を支持しているかを示します。相対改善率のタイルには区間が表示されます: 本当の効果はその範囲のどこかにあり、計画に使うべき数字は点推定値ではなく下限です。
配分に警告が出たら、他の何かを読む前にテストを直してください。検出可能な最小の改善率が観測した改善率より大きければ、テストの検出力が不足しています: サンプルサイズのタブで、何人の訪問者が必要かを確認しましょう。
「結果をコピー」はメッセージや文書に貼れる要約を作ります。「リンクをコピー」は4つの数字をURLに入れるので、開いた人は誰でも同じ計算を見られます。
各タイルの意味を一行で。
| タイル | 何を表すか | 読み方 |
|---|---|---|
| 相対改善率 | (Bの率 − Aの率) ÷ Aの率 | 見出しの数字。横の区間は、本当の改善率がおそらく収まる範囲です。 |
| p値 | AとBが同一だった場合に、これほどの差が出る確率 | 信頼水準95%なら0.05未満で有意。結果が間違っている確率ではありません。 |
| 信頼度 | 1 − p をパーセントで表したもの | 多くのツールが表示する数字。87%は「ほぼ95%」ではなく、線の向こう側です。 |
| Bが優れている確率 | Bの真の率がAを上回るベイズ確率 | みんなが欲しい一文。91%は「Bがおそらく優れている」であって、「Bが91%優れている」ではありません。 |
| このテストで検出できた最小の改善率 | この群サイズで検出力80%のときに検出できる相対改善率 | 観測した改善率がこれを下回るなら、「有意差なし」は「判断できなかった」という意味です。 |
| トラフィック配分 | 各群の訪問者の観測割合と計画の比較 | 偶然で説明できる以上に配分がずれていると警告。結果を読む前にテストを直してください。 |
A: 訪問者10,000人、コンバージョン500件(5.00%)。B: 訪問者10,000人、コンバージョン560件(5.60%)。相対改善率+12%、p = 0.058。
95%では有意ではなく、区間はおよそ−0.4%から+24%まで広がります。正直な読み方は「おそらく小さなプラス、ゼロの可能性もあり」です。このテストで検出できる最小の改善率は約17%なので、12%の効果は最初からグレーゾーンに落ちる運命でした。必要なのは、もう1週間祈ることではなく、およそ2倍のトラフィックです。
A: 訪問者5,000人、コンバージョン100件。B: 訪問者4,300人、コンバージョン120件。計画した配分は50/50。
Bは+40%の明らかな勝者に見えます。しかしこのツールはそう言うことを拒みます: 50/50の設定で5,000対4,300の配分が偶然に起きる確率は100万分の1未満です。カウントされる前にBのユーザーを取り除いている何かがあります。特定のブラウザで失敗するリダイレクトや、バリエーションを別扱いするボットフィルターがよくある原因です。原因が何であれ、2つのグループは比較できず、改善率には意味がありません。
A: 訪問者400人、コンバージョン12件(3.0%)。B: 訪問者400人、コンバージョン19件(4.75%)。相対改善率+58%、p = 0.20。
58%の改善は途方もなく聞こえますが、p値は約0.19です。コンバージョンが12件と19件では、ツールはデータ不足の警告を出します: この規模では登録が1件増えるだけで率が0.25ポイント動くほど数字が揺れます。このトラフィックでは、1か月で確認できる最小の改善率は100%を超えます。これはもっと長く走らせる理由ではなく、現実チェックのタブを読む理由です。
