Menu
CoddyTech

Podsumowanie: test A/B

Część sekcji Statystyka w uczeniu maszynowym ścieżki Machine Learning w Coddy. Lekcja 46 z 64.

challenge icon

Wyzwanie

Średni

Sklep pokazał stronę A lub B 30 odwiedzającym. To lepszy wynik czy szczęście? ab.csv zawiera version, seconds i pages; program odczytuje column.

  1. Wyświetl średnie obu grup.
  2. Przetestuj różnicę między średnią B a średnią A za pomocą permutacji (najpierw połącz A, bez innych losowań) i testu t.
  3. Wybierz wersję B (yes, up by) tylko wtedy, gdy średnia B jest wyższa, a wartość p z testu permutacyjnego jest mniejsza niż 0.05.
  4. Wykresy pudełkowe A i B: etykieta osi x Version, etykieta osi y to nazwa kolumny, tytuł jak poniżej.

Zaokrąglij do 2 miejsc po przecinku, p do 3. Inny sklep, seconds:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Następnie Coddy opisuje wykres, który wygląda tak:

Wykres zatytułowany A/B Test: seconds, z etykietą osi x Version i etykietą osi y seconds; dwa wykresy pudełkowe oznaczone A i B są na mniej więcej tej samej wysokości, mediany są blisko 65, a dla A widoczne są dwie kropki wartości odstających przy 38 i 86

Spróbuj swoich sił

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# Nie zmieniaj poniższych wierszy
rng = np.random.default_rng(3)
shuffles = 1000

# Napisz swój kod poniżej

Wszystkie lekcje w sekcji Statystyka w uczeniu maszynowym

Poćwicz samodzielnie: Kompilator Python online