복습: A/B 테스트

Coddy Machine Learning 여정의 머신러닝을 위한 통계 섹션에 포함된 레슨. 64개 중 46번째.

챌린지

중급

한 상점에서 방문자 30명에게 A 또는 B 페이지를 보여 주었습니다. 어느 쪽이 더 나을까요, 아니면 운일까요? ab.csv에는 version, seconds, pages가 있고, 프로그램은 column을 읽습니다.

두 평균을 모두 출력합니다.
순열 검정(먼저 A를 모으고, 다른 추출은 하지 않음)과 t-검정으로 B의 평균에서 A의 평균을 뺀 값을 검정합니다.
B가 더 높고 순열 검정 p값이 0.05보다 낮은 경우에만 B 버전을 출시합니다(yes, up by).
A와 B의 상자 그림을 그립니다. x축 레이블은 Version, y축 레이블은 해당 열, 제목은 아래와 같습니다.

평균은 소수점 아래 2자리까지, p값은 소수점 아래 3자리까지 반올림합니다. 다른 상점의 seconds 데이터는 다음과 같습니다.

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

그러면 Coddy가 다음과 같은 차트를 설명합니다.

A/B Test: seconds라는 제목의 차트입니다. x축 레이블은 Version, y축 레이블은 seconds이며, 높이가 거의 같은 위치에 A와 B라는 이름의 상자 그림 두 개가 있습니다. 중앙값은 65 근처이고, A에는 38과 86에 이상치 점이 두 개 있습니다.

직접 해보기

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# 아래 줄은 변경하지 마세요
rng = np.random.default_rng(3)
shuffles = 1000

# 아래에 코드를 작성하세요