Calculadora de Tamanho de Amostra para Teste A/B

Decida o tamanho da amostra antes de olhar um único resultado

Um tamanho de amostra é uma promessa que você faz a si mesmo antes de o teste começar: "vou olhar o resultado quando este número de pessoas tiver visto, e não antes." Sem ela, todo teste A/B deriva para a mesma história. A primeira semana parece promissora, na segunda o aumento encolhe, alguém pergunta se já está significativo, e o teste termina no dia em que a barra fica verde. Esta página dá o número para escrever no plano, para que a data final seja um fato e não um humor.

O cálculo é o tamanho de amostra padrão para duas proporções, o mesmo por trás da calculadora do Evan Miller e da do Optimizely, e depende de quatro coisas: a taxa base, o aumento que você quer ser capaz de detectar, o nível de confiança e o poder. Poder é o que as pessoas pulam. Com 80% de poder, um aumento real do tamanho que você nomeou é pego oito vezes em dez; um teste com metade da amostra tem bem menos que metade do poder, e é por isso que um teste subdimensionado não é "uma resposta mais grosseira", mas em geral nenhuma resposta.

A curva abaixo do resultado é a parte que vale lembrar. Os visitantes necessários crescem com o quadrado de um sobre o aumento: divida pela metade o aumento que você quer enxergar e você precisa de cerca de quatro vezes mais tráfego. Um site que confirma um aumento de 30% em duas semanas precisa de cerca de nove vezes mais tempo para confirmar um de 10%. Se o número de dias sai em meses, é a calculadora dizendo para testar algo maior, ou subir no funil para uma métrica que mais gente alcança, antes de dizer para esperar.

Do que depende o tamanho da amostra

• O efeito mínimo detectável é uma decisão, não uma medida. É o menor aumento pelo qual você de fato colocaria a mudança no ar. Definir um valor baixo para deixar o teste "mais sensível" deixa o teste mais longo, não melhor.
• Aumento relativo e absoluto são bichos diferentes. Um aumento relativo de 10% sobre uma base de 5% é meio ponto percentual. Esta página trabalha em termos relativos porque é assim que os resultados são reportados, e mostra a taxa alvo ao lado para você ver os dois.
• Variantes extras custam mais do que a parte delas. Testar A contra B, C e D são três comparações, e a confiança tem que ser dividida entre elas. A calculadora aplica a divisão de Bonferroni e mostra o alfa que cada comparação realmente recebe.
• Dias são um teto, não um piso. Mesmo quando os números dizem quatro dias, rode pelo menos uma semana inteira, de preferência duas, porque visitantes de dia útil e de fim de semana convertem diferente, e um teste só de terça-feira mede terças-feiras.
• Poder de 80% significa que um vencedor real em cinco é perdido. Se perder um vencedor sai caro para você, use 90% e aceite a amostra maior.

Como dimensionar um teste A/B

1. 1

   Informe a taxa de conversão atual

   Use a taxa da página ou da etapa que o teste vai mudar, medida sobre o mesmo tipo de visitante que o teste vai ver. Não use uma média do site inteiro quando está testando uma etapa do funil.

2. 2

   Escolha o menor aumento que vale detectar

   Pergunte que aumento faria você colocar a mudança no ar. Esse é o seu efeito mínimo detectável. 10% relativo é uma escolha comum para uma página madura; um redesign pode justificar 20% ou mais.

3. 3

   Defina confiança e poder

   95% de confiança e 80% de poder são as convenções. Aumente a confiança quando um vencedor falso sai caro para reverter; aumente o poder quando um vencedor perdido sai caro para deixar na mesa.

4. 4

   Adicione os seus visitantes por dia

   Todas as variantes juntas, contando só os visitantes que vão chegar ao teste. O resultado vira dias e semanas inteiras.

5. 5

   Anote a data final

   A calculadora dá o tamanho da amostra por variante. Coloque no plano do teste com a data que ele implica, e não leia resultados antes dela. A aba do simulador de espiadas mostra por quê.

Tamanho da amostra de relance

Visitantes por variante a 95% de confiança e 80% de poder, bilateral. Multiplique por dois para um teste de dois braços.

Exemplos resolvidos

Erros de tamanho de amostra

• Dimensionar o teste depois de ver resultados iniciais. O aumento que por acaso você observa no terceiro dia não é o efeito mínimo detectável; é ruído com opinião.
• Usar um aumento absoluto onde se queria um relativo. Um "aumento de 10%" sobre uma base de 2% é ou 2,2% ou 12%, e os tamanhos de amostra diferem por um fator de centenas.
• Parar no tamanho da amostra quando o resultado não é significativo e chamar de derrota. Chegar ao tamanho da amostra significa que o teste consegue detectar o efeito que você nomeou. Não diz nada sobre efeitos menores.
• Contar visualizações de página como visitantes. A fórmula assume que cada unidade é um visitante independente com um desfecho; visualizações repetidas inflam a contagem e a confiança.
• Terminar em uma semana parcial. Se o tamanho da amostra é atingido numa quinta-feira, rode até o domingo seguinte; a mistura de dias da semana muda as taxas de conversão mais do que a maioria das mudanças testadas.

Perguntas frequentes sobre tamanho de amostra