Ôn tập: Thử nghiệm A/B

Thuộc phần Thống kê cho machine learning trong hành trình Machine Learning của Coddy. Bài học 46 trên 64.

Thử thách

Trung bình

Một cửa hàng cho 30 khách xem trang A hoặc B. Trang nào tốt hơn, hay chỉ là may mắn? ab.csv có các cột version, seconds và pages; chương trình đọc một column.

In ra giá trị trung bình của cả hai nhóm.
Kiểm định hiệu số giữa giá trị trung bình của B và A bằng phép hoán vị (gộp A trước, không lấy mẫu nào khác) và kiểm định t.
Chỉ triển khai B (yes, up by) nếu giá trị trung bình của B cao hơn và giá trị p của phép hoán vị dưới 0.05.
Vẽ biểu đồ hộp của A và B: nhãn trục x là Version, nhãn trục y là tên cột, tiêu đề như bên dưới.

Làm tròn đến 2 chữ số thập phân, giá trị p đến 3 chữ số. Một cửa hàng khác, seconds:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Sau đó, Coddy mô tả biểu đồ như sau:

Biểu đồ có tiêu đề A/B Test: seconds, nhãn trục x là Version và nhãn trục y là seconds, với hai biểu đồ hộp tên A và B có chiều cao gần bằng nhau, trung vị gần 65 và hai điểm ngoại lệ của A tại 38 và 86

Tự làm thử

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# Đừng thay đổi các dòng bên dưới
rng = np.random.default_rng(3)
shuffles = 1000

# Viết code bên dưới

Tất cả bài học trong Thống kê cho machine learning

Tự luyện tập: Trình biên dịch Python online