Dá para Fazer Teste A/B? A Checagem de Realidade do Tráfego
A pergunta a fazer antes do primeiro teste, não depois do décimo. Informe os seus visitantes por mês, a sua taxa de conversão e o aumento pelo qual você realmente agiria, e receba uma resposta direta: vai, esticado, ou pare e faça outra coisa.
A maioria dos sites pequenos não consegue fazer teste A/B, e ninguém avisa
Todo guia de teste A/B foi escrito por uma empresa com milhões de visitantes. O time de experimentação da Microsoft, o Google, a Booking.com e o Airbnb rodam milhares de testes por ano, e o conselho deles está certo para eles: teste tudo, confie nos dados, coloque no ar o que vence. Uma startup com 8.000 visitantes por mês lê o mesmo conselho, monta o mesmo painel e depois não entende por que todo teste termina em 87% de confiança com um aumento que encolhe a cada semana. Ela não está fazendo errado. Está fazendo algo que não funciona nesse tamanho.
Esta página faz a aritmética que os guias pulam. Com 8.000 visitantes por mês convertendo a 3%, confirmar um aumento de 10% leva cerca de 106.000 visitantes: treze meses de todo visitante que você tem, com a página congelada o tempo inteiro. Em quatro semanas, o menor aumento que você conseguiria confirmar é de cerca de 40%. Isso não é problema de ajuste fino. Ronny Kohavi, que comandou experimentação na Microsoft e no Airbnb, coloca o piso prático para detectar aumentos de um dígito em algumas centenas de milhares de usuários; abaixo disso, ele sugere que o teste A/B pode ser prematuro e que pesquisa com usuários é o melhor investimento.
Escrevemos isto por experiência própria. O painel da Coddy rodou cerca de vinte experimentos nomeados, dez deles testes de preço em países isolados, cada um numa fatia pequena de tráfego, e mostrava "Continue rodando" sempre que a confiança ficava abaixo de 95%. Vários foram marcados como sucesso e colocados no ar. Olhando para trás com esta calculadora, alguns desses testes não tinham como detectar os aumentos que receberam crédito. A versão honesta daquele painel é esta página: o que este tráfego consegue responder, quanto tempo levaria e com que frequência um vencedor seria alarme falso?
O que decide se você consegue testar
Conversões por mês, não visitantes, é o número que limita você. Uma página com 8.000 visitantes a 3% tem 240 conversões por mês para dividir entre dois braços. O teste z precisa de centenas por braço antes de dizer qualquer coisa.
O aumento pelo qual você agiria define a conta. Seja honesto: se você colocaria uma mudança no ar por um aumento de 3%, precisa de um teste que enxergue 3%, e quase nenhum site pequeno consegue.
Tempo é um custo, não uma solução. Um teste que leva um trimestre congela a página por um trimestre, atravessa estações e campanhas, e termina em um negócio diferente do que começou.
A frequência com que as suas ideias funcionam muda o que um vencedor significa. Se uma ideia em dez move a métrica de verdade, então a 95% de confiança e 80% de poder mais de um terço dos seus vencedores "significativos" são alarmes falsos. A taxa base não é um detalhe técnico; é a maior parte da resposta.
Abaixo da linha existem métodos melhores. Converse com cinco usuários, assista a gravações de sessão, coloque a mudança no ar e compare antes e depois com margens de erro largas, ou teste uma métrica que mais visitantes alcançam, como um clique em vez de uma compra.
Como rodar a checagem de realidade
1
Informe os visitantes por mês que veriam o teste
Não o site inteiro. Se o teste é na página de preços, são os visitantes da página de preços. Se é uma etapa do checkout, são as pessoas que chegam a essa etapa.
2
Informe a taxa de conversão atual dessa etapa
A calculadora mostra as conversões por mês que isso implica, que é a restrição real.
3
Nomeie o aumento pelo qual você agiria
O aumento relativo que faria você colocar a mudança no ar. A maioria diz 10% e está falando sério; seja honesto se o seu for menor.
4
Leia o veredito e a escada
Vai significa menos de um mês. Esticado significa menos de um trimestre, com a página congelada o tempo todo. Pare significa que o teste não consegue responder à pergunta no seu tráfego. A escada mostra quanto custariam aumentos maiores no lugar.
5
Escolha uma taxa base e leia o risco de falso positivo
Escolha com que frequência as suas ideias funcionam de verdade. O bloco mostra que parcela dos resultados significativos seria alarme falso nessa taxa, que é o número para lembrar na próxima vez que um teste ficar verde.
Meses para confirmar um aumento de 10% a 95% de confiança, 80% de poder
Dois braços, todo visitante entrando no teste. Leia a sua linha e a sua coluna.
Visitantes por mês
Base de 1%
Base de 3%
Base de 5%
Base de 10%
3.000
mais de 100 meses
35 meses
21 meses
9,8 meses
8.000
41 meses
13 meses
7,8 meses
3,7 meses
25.000
13 meses
4,3 meses
2,5 meses
5 semanas
100.000
3,3 meses
5 semanas
19 dias
9 dias
500.000
20 dias
6 dias
4 dias
2 dias
Três sites, três vereditos
O SaaS em estágio inicial
8.000 visitantes por mês, 3% de taxa de cadastro, quer enxergar um aumento de 10%. Veredito: pare. Cerca de 13 meses e 106.000 visitantes. Em quatro semanas, o menor aumento confirmável é de cerca de 40%.
Duzentos e quarenta cadastros por mês não conseguem resolver uma diferença de 0,3 ponto. O tempo do time rende mais na entrevista com cinco usuários e em mudanças grandes o bastante para aparecer sem teste: um título novo não é uma delas; um modelo de preços novo pode ser.
O site de conteúdo
50.000 visitantes por mês, 2% de taxa de inscrição na newsletter, quer um aumento de 10%. Veredito: esticado. Cerca de 3,2 meses. Em quatro semanas, o menor aumento confirmável é de cerca de 19%.
Testável, mas só para mudanças ousadas. Testar a posição do formulário faz sentido se isso pode mover as inscrições em um quinto; testar o texto do botão, não. Como alternativa, teste o clique até o formulário, que muito mais visitantes fazem.
O marketplace
400.000 visitantes por mês, 4% de conversão, quer um aumento de 10%. Veredito: vai. Os visitantes chegam em menos de uma semana; rode duas semanas inteiras mesmo assim.
Este é o tamanho para o qual os guias de teste A/B foram escritos. O risco que sobra é a taxa base: se uma ideia em cinco funciona de verdade, mais ou menos um vencedor significativo em seis ainda é alarme falso, e a aba do simulador de espiadas mostra como isso piora rápido com checagens diárias.
Erros de teste com pouco tráfego
Rodar o teste mesmo assim e ler a 85%. O nível de confiança que você definiu é uma promessa sobre quantas vezes aceita ser enganado. Ler abaixo dele depois do fato é o mesmo que nunca ter definido um.
Testar mudanças minúsculas. Cor de botão e troca de palavra produzem aumentos de poucos por cento na melhor das hipóteses, que sites pequenos não conseguem detectar. Se precisa testar, teste algo que possa plausivelmente mover o número em um terço.
Testar no fundo do funil. Compras são raras; cliques são comuns. Um teste no clique que leva à compra tem dez vezes mais eventos e consegue terminar.
Deixar um teste rodar por seis meses. Estações, campanhas e mudanças de produto vazam para dentro dele, e os dois braços acabam medindo eras diferentes.
Confiar em um vencedor porque foi significativo. Com poucos vencedores reais entre as suas ideias, um resultado significativo é alarme falso com mais frequência do que o valor-p sugere. O bloco de risco de falso positivo coloca um número nisso.
Tratar "não significativo" como "a ideia falhou". Com pouco tráfego quase nada é significativo. A ideia pode ser boa; o teste não conseguiu enxergar.
Perguntas frequentes sobre a checagem de realidade
De quanto tráfego preciso para fazer teste A/B?
Depende da sua taxa de conversão e do aumento que você quer enxergar, e é por isso que esta página pede os dois. Como regra de bolso, confirmar um aumento relativo de 10% sobre uma taxa de conversão de 3% leva cerca de 100.000 visitantes; confirmar um aumento de 30% leva cerca de 12.000. Sites com menos de 10.000 visitantes por mês em geral só conseguem detectar efeitos muito grandes.
O que um site pequeno deve fazer em vez de teste A/B?
Conversar com usuários, pessoalmente ou por chamada: cinco conversas encontram a maioria dos problemas de uma página. Assistir a gravações de sessão. Fazer mudanças ousadas, colocar no ar e comparar algumas semanas antes e depois, sabendo que a comparação é grosseira. Testar métricas que mais visitantes alcançam. E quando o tráfego chegar, voltar aqui e testar direito.
O que é risco de falso positivo e por que é diferente do valor-p?
O valor-p diz quão surpreendente o resultado seria se nada tivesse mudado. O risco de falso positivo diz, dos testes que saíram significativos, quantos não tinham nada por trás. Ele depende de quantas vezes as suas ideias funcionam de verdade: com uma taxa base de 10%, 95% de confiança e 80% de poder, cerca de 36% dos vencedores significativos são alarmes falsos. Grandes programas de experimentação relatam que só 10 a 33% das ideias movem a métrica, e é por isso que a taxa base importa tanto.
Um teste de 3,5 meses é impossível mesmo?
Não é impossível, e a calculadora diz "esticado" em vez de "pare" até um trimestre. Mas uma página congelada por um trimestre é uma página que ninguém está melhorando, e um teste que atravessa uma estação ou uma campanha compara dois períodos diferentes. Se a mudança é grande o bastante para justificar um trimestre de espera, provavelmente é grande o bastante para colocar no ar e medir antes e depois.
Posso baixar a confiança para 90% para o teste ficar mais rápido?
Pode, se decidir antes do teste e aceitar uma taxa de alarme falso de um em dez em cima do efeito da taxa base. Isso encurta o teste em cerca de um terço, não pelo fator de dez de que um site pequeno precisaria. Aumentar o aumento que você está testando ajuda muito mais.
Por que a calculadora diz pare quando a calculadora de tamanho de amostra dá um número?
As duas usam a mesma fórmula. A página de tamanho da amostra dá a contagem; esta página divide a contagem pelo seu tráfego e julga o resultado. Uma contagem de 106.000 visitantes é um número; treze meses é um veredito.
