Repaso: prueba A/B

Parte de la sección Estadística para ML del Journey de Machine Learning de Coddy. Lección 46 de 64.

Desafío

Intermedio

Una tienda mostró la página A o B a 30 visitantes. ¿Cuál es mejor, o fue cuestión de suerte? ab.csv tiene version, seconds y pages; el programa lee una column.

Imprime ambas medias.
Contrasta la diferencia entre la media de B y la de A mediante permutación (agrupa primero A, sin otras extracciones) y mediante una prueba t.
Publica B (yes, up by) solo si B es mayor y el valor p de permutación es inferior a 0.05.
Diagramas de caja de A y B: etiqueta del eje x Version, etiqueta del eje y con el nombre de la columna y el título indicado abajo.

Redondea a 2 decimales y el valor p a 3. Otra tienda, seconds:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Después, Coddy describe el gráfico, que tiene este aspecto:

Un gráfico titulado A/B Test: seconds, con la etiqueta del eje x Version y la etiqueta del eje y seconds, y dos diagramas de caja llamados A y B a aproximadamente la misma altura, con medianas cercanas a 65 y dos puntos atípicos para A en 38 y 86

Pruébalo tú mismo

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# No cambies las líneas de abajo
rng = np.random.default_rng(3)
shuffles = 1000

# Escribe tu código abajo

Todas las lecciones de Estadística para ML

2Distribuciones

Histogramas de densidad Formas de los datos Curva normal Regla del 68-95-99,7 Puntuaciones z Repaso: duración de la batería

5Valores atípicos

Diagramas de caja La regla del RIC La regla del valor Z Tratamiento de valores atípicos Repaso: fallos de los sensores

8Comparación de grupos

Diagramas de caja por grupo Diferencia de medias ¿Podría ser azar?Valores p La prueba tRepaso: prueba A/B

11Exploración de un conjunto de datos

Una primera mirada Todas las características a la vez Características frente a la etiqueta Las dos mejores características Repaso: datos sobre la diabetes

Practica por tu cuenta: Compilador de Python online