Récapitulatif : test A/B

Fait partie de la section Statistiques pour le ML du Journey Machine Learning de Coddy. Leçon 46 sur 64.

Défi

Moyen

Une boutique a montré la page A ou B à 30 visiteurs. Mieux, ou simple chance ? ab.csv contient version, seconds et pages ; le programme lit une column.

Affiche les deux moyennes.
Teste la différence entre la moyenne de B et celle de A par permutation (regroupe A en premier, sans autres tirages) et par test t.
Déploie B (yes, up by) uniquement si B est supérieur et si la valeur p de la permutation est inférieure à 0.05.
Boîtes à moustaches de A et B : étiquette de l’axe x Version, étiquette de l’axe y le nom de la colonne, titre comme ci-dessous.

Arrondis à 2 décimales, et la valeur p à 3. Une autre boutique, seconds :

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Ensuite, Coddy décrit le graphique, qui ressemble à ceci :

Graphique intitulé A/B Test: seconds, avec l’axe x intitulé Version et l’axe y intitulé seconds, deux boîtes à moustaches nommées A et B à peu près à la même hauteur, avec des médianes autour de 65 et deux points aberrants pour A à 38 et 86

Essayez vous-même

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# Ne modifiez pas les lignes ci-dessous
rng = np.random.default_rng(3)
shuffles = 1000

# Écrivez votre code ci-dessous

Toutes les leçons de Statistiques pour le ML

Entraînez-vous par vous-même : Compilateur Python en ligne