Simulador de Espiadas em Teste A/B

O hábito mais caro dos testes A/B, simulado com os seus números

O hábito é este. Você começa um teste e, toda manhã, abre o painel. A barra sobe, cai, sobe de novo, e numa terça-feira cruza os 95%. Você declara o resultado, coloca o vencedor no ar e segue em frente. O problema é que um valor-p vagueia. Em um teste em que as duas variantes são idênticas, o valor-p ainda cruza 0,05 em alguns dias por acaso; ele só volta a cruzar depois. Parar no primeiro cruzamento significa pegá-lo de passagem, e o nível de confiança que você achava que tinha se foi.

O tamanho do efeito surpreende. A 95% de confiança, um teste lido uma vez no fim engana você cerca de uma vez em vinte, que é o acordo que você assinou. Leia o mesmo teste todo dia por quatro semanas e pare no primeiro dia verde, e o simulador costuma mostrar um vencedor falso em um quarto ou mais dos testes em que nada mudou. O texto original do Evan Miller colocou isso em mais de 20% para quem espia diariamente; o Optimizely reconstruiu o seu motor de estatística em 2015 porque a taxa de falsos positivos dos clientes tinha passado disso. Conferir toda semana em vez de todo dia reduz o estrago mais ou menos pela metade, mas não o elimina.

A simulação aqui é honesta sobre o que é: cada teste sorteia conversões na taxa verdadeira para os dois braços, roda o teste z comum para duas proporções a cada olhada sobre tudo o que foi coletado até ali, e registra onde quem espia pararia. Cada trajetória no gráfico é um teste; cada ponto é uma manhã em que alguém teria anunciado um resultado. Coloque o aumento real em +10% para ver a outra metade da história, em que quem espia pega um efeito real cedo mas com um aumento exagerado, e teria "vencido" com o mesmo entusiasmo se o efeito fosse zero.

O que a simulação mostra

• O valor-p é um passeio aleatório. Sob a hipótese nula ele tem distribuição uniforme em qualquer olhada isolada, o que significa que em qualquer manhã há 5% de chance de ele estar abaixo de 0,05. Ao longo de vinte e oito manhãs, essas chances se acumulam.
• A taxa de falsos positivos depende de quantas vezes você olha, não de quanto tempo o teste roda. Um teste de quatro semanas lido semanalmente engana menos do que um teste de duas semanas lido diariamente.
• Paradas precoces exageram o aumento. Quando quem espia para em um dia de sorte, o aumento observado naquele dia é, por definição, incomumente grande. Vencedores colocados no ar que "murcharam" depois do lançamento muitas vezes eram isso.
• A solução é disciplina ou um teste diferente. Disciplina: fixe o tamanho da amostra e a data final com antecedência e leia uma vez. Um teste diferente: métodos sequenciais, como os valores-p sempre válidos que Optimizely, Statsig e Eppo usam, são feitos para serem lidos continuamente, ao custo de uma amostra maior.
• Painéis bayesianos não são imunes. Uma probabilidade de ser o melhor conferida todo dia e acionada em um limiar tem o mesmo problema com outra fantasia.

Como usar o simulador

1. 1

   Informe a sua taxa de conversão e os visitantes por dia

   A simulação sorteia conversões na sua taxa real, então o vaivém do valor-p bate com o ruído que você veria de verdade.

2. 2

   Defina a duração planejada e a frequência com que você olha

   Todo dia, a cada três dias ou toda semana. A distância entre a taxa de quem espia e a taxa honesta é o preço desse hábito.

3. 3

   Mantenha o aumento real em nenhum

   Isso faz de cada teste um teste A/A: qualquer vencedor é alarme falso por construção. Mude para +10% ou +30% depois para ver quem espia diante de um efeito real.

4. 4

   Leia os dois números grandes

   A taxa de quem espia é com que frequência quem confere todo dia declarou um vencedor. A taxa da data final deveria ficar perto do alfa que você escolheu; se ficar, o teste honesto está fazendo o que prometeu.

5. 5

   Rode de novo

   Cada rodada sorteia testes aleatórios novos. As taxas se movem um pouco; a distância entre elas, não.

Taxas típicas de falso positivo em testes A/A

A 95% de confiança, uma leitura honesta no fim engana cerca de 5% das vezes. Números aproximados da simulação e da literatura para quem espia e para na primeira olhada significativa.

Três hábitos, simulados

Erros de quem espia

• Parar na primeira manhã significativa. Esta página inteira é sobre isso. O nível de confiança só significa o que diz se você lê o resultado uma vez.
• Estender um teste que está "quase lá". Decidir rodar mais tempo porque o resultado está quase significativo é espiar ao contrário, e infla a taxa de falsos positivos do mesmo jeito.
• Conferir todo dia "só para garantir que nada quebrou". Vigiar bugs é ótimo; vigiar o valor-p, não. Olhe a divisão de tráfego e as taxas de erro, não o aumento, até a data final.
• Acreditar que um painel bayesiano torna o espiar seguro. Agir sobre um limiar de probabilidade que você confere todo dia tem a mesma inflação.
• Reportar o aumento do dia em que você parou. Se precisar parar cedo, reporte o intervalo, e espere que o aumento verdadeiro seja menor que a estimativa pontual.

Perguntas frequentes sobre espiar