Revisão: teste A/B

Parte da seção Estatística para ML do Journey de Machine Learning da Coddy. Lição 46 de 64.

Desafio

Médio

Uma loja exibiu a página A ou B para 30 visitantes. Qual é melhor, ou foi sorte? ab.csv tem version, seconds e pages; o programa lê uma column.

Imprima as duas médias.
Teste a média de B menos a de A por permutação (agrupe A primeiro, sem outras extrações) e com o teste t.
Lance B (yes, up by) somente se B for maior e o p da permutação for menor que 0.05.
Gráficos de caixa de A e B: rótulo do eixo x Version, rótulo do eixo y a coluna, título como abaixo.

Arredonde para 2 casas decimais, p para 3. Outra loja, seconds:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Em seguida, Coddy descreve o gráfico, que se parece com isto:

Um gráfico intitulado A/B Test: seconds, com o rótulo do eixo x Version e o rótulo do eixo y seconds, contendo dois gráficos de caixa chamados A e B em alturas aproximadamente iguais, medianas próximas de 65 e dois pontos discrepantes para A em 38 e 86

Experimente você mesmo

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# Não altere as linhas abaixo
rng = np.random.default_rng(3)
shuffles = 1000

# Escreva seu código abaixo

Todas as lições de Estatística para ML

2Distribuições

Histogramas de densidade Formatos dos dados A curva normal A regra 68-95-99,7 Escores Z Recapitulando: duração da bateria

5Valores atípicos

Diagramas de caixa A regra do IQR A regra do Z-score Como lidar com valores atípicos Revisão: falhas nos sensores

8Comparando grupos

Gráficos de caixa por grupo Diferença entre médias Pode ser acaso?Valores-p O teste tRevisão: teste A/B

11Explorando um conjunto de dados

Um primeiro olhar Todos os atributos de uma vez Atributos em relação ao rótulo Os dois melhores atributos Revisão: dados de diabetes

Pratique por conta própria: Compilador de Python online