Menu
CoddyTech

Rangkuman: Uji A/B

Termasuk bagian Statistik untuk ML dalam perjalanan Machine Learning di Coddy. Pelajaran 46 dari 64.

challenge icon

Tantangan

Sedang

Sebuah toko menampilkan halaman A atau B kepada 30 pengunjung. Mana yang lebih baik, atau apakah ini hanya kebetulan? ab.csv memiliki version, seconds, dan pages; program membaca sebuah column.

  1. Cetak kedua nilai rata-rata.
  2. Uji selisih nilai rata-rata B dikurangi A dengan permutasi (gabungkan A terlebih dahulu, tanpa pengambilan lain) dan uji t.
  3. Tampilkan B (yes, up by) hanya jika nilai B lebih tinggi dan nilai p permutasi di bawah 0.05.
  4. Buat box plot A dan B: label x Version, label y adalah nama kolom, judul seperti di bawah.

Bulatkan ke 2 angka desimal, nilai p ke 3 angka desimal. Toko lain, seconds:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Selanjutnya, Coddy menjelaskan grafik yang terlihat seperti ini:

Grafik berjudul A/B Test: seconds, label x Version dan label y seconds, dengan dua box plot bernama A dan B yang tingginya hampir sama, median di sekitar 65, dan dua titik pencilan untuk A pada 38 dan 86

Coba sendiri

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# Jangan ubah baris di bawah ini
rng = np.random.default_rng(3)
shuffles = 1000

# Tulis kodemu di bawah ini

Semua pelajaran di Statistik untuk ML

Latihan sendiri: Compiler Python online