Menu
CoddyTech

復習:A/Bテスト

CoddyのMachine Learningジャーニー「機械学習のための統計」セクションの一部。レッスン 46/64。

challenge icon

チャレンジ

中級

あるショップで、30人の訪問者にページAまたはBを表示しました。どちらが優れているのでしょうか、それとも偶然でしょうか? ab.csv には version、seconds、pages があり、プログラムは column を読み込みます。

  1. 両方の平均を出力します。
  2. 並べ替え検定(Aを先にプールし、ほかの抽選は行わない)とt検定で、Bの平均からAの平均を引いた値を検定します。
  3. Bのほうが高く、並べ替え検定のp値が0.05未満の場合にのみ、Bをリリースします(yes、up by)。
  4. AとBの箱ひげ図を作成します。x軸ラベルは Version、y軸ラベルは列名、タイトルは以下のとおりです。

平均は小数点以下2桁、p値は小数点以下3桁に丸めます。別のショップで、seconds の場合:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

次にCoddyが、次のようなグラフについて説明します。

A/B Test: seconds というタイトルで、x軸ラベルがVersion、y軸ラベルがsecondsのグラフ。ほぼ同じ高さにAとBという名前の箱ひげ図が2つあり、中央値は65付近。Aには38と86に外れ値の点が2つある

自分で試してみよう

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# 以下の行は変更しないでください
rng = np.random.default_rng(3)
shuffles = 1000

# 以下にコードを書いてください

機械学習のための統計のすべてのレッスン

自分で練習してみよう: Pythonオンラインコンパイラ