Português
Digite os visitantes e as conversões de cada variante. Você recebe o veredito em uma frase, o valor-p com o cálculo aberto, o intervalo, a chance bayesiana de B ser melhor, uma checagem de que a divisão de tráfego não está quebrada e o menor aumento que este teste conseguiria enxergar.
Última atualização
A Coddy ensina você escrevendo código de verdade no navegador: lições interativas, feedback instantâneo e ajuda de IA quando você trava.
Toda calculadora de teste A/B imprime um valor-p. A maioria para por aí, e é assim que fundadores acabam encarando 87% de confiança sem saber o que isso significa. Esta responde às perguntas que de fato decidem o que você faz depois. A diferença é maior do que o acaso produziria? Qual poderia ser o aumento verdadeiro, no pior e no melhor caso? Se o teste deu "não significativo", ele tinha alguma chance de encontrar algo com esse tamanho de amostra? E a própria divisão de tráfego está saudável, ou você está comparando dois grupos que nunca foram iguais?
Ela roda o teste z padrão para duas proporções, o mesmo usado pelo motor clássico do Optimizely, pelo modo frequentista do VWO e por todo livro de estatística, e mostra cada linha da aritmética: a taxa combinada, o erro padrão, o escore z e a área da cauda. Ao lado fica a resposta bayesiana, a probabilidade de a taxa verdadeira de B estar acima da de A, porque "há 91% de chance de B ser melhor" é a frase que a maioria esperava que o valor-p entregasse, e é um número diferente.
Construímos esta página depois de olhar para o nosso próprio painel. A Coddy rodou cerca de vinte experimentos nomeados, dez deles testes de preço por país em fatias pequenas de tráfego, e a nossa ferramenta interna mostrava uma barra de confiança com as palavras "Continue rodando" abaixo de 95%. Isso é parada opcional com cara simpática. As três abas ao lado desta, tamanho da amostra, checagem de realidade e simulador de espiadas, existem porque uma calculadora que só reporta significância é uma calculadora que ajuda você a se enganar mais rápido.
Visitantes são as pessoas alocadas naquela variante, não visualizações de página. Conversões são as que fizeram o que você está medindo: cadastro, pagamento, clique. Os dois braços precisam ser contados do mesmo jeito.
95% bilateral é o padrão e a escolha honesta quando B pode ser melhor ou pior. Unilateral é só para quando um B pior seria ignorado exatamente como uma ausência de mudança, o que é mais raro do que se pensa.
O banner diz o que os números sustentam. O bloco do aumento relativo mostra o intervalo: o efeito verdadeiro provavelmente está em algum ponto dentro dele, e o limite inferior é o número para planejar, não a estimativa pontual.
Se a divisão for sinalizada, conserte o teste antes de ler qualquer outra coisa. Se o menor aumento detectável for maior que o aumento observado, o teste estava subdimensionado: vá para a aba de tamanho da amostra e veja quantos visitantes seriam necessários.
Copiar resultado dá o resumo para uma mensagem ou um documento. Copiar link coloca os quatro números na URL, então quem abrir vê o mesmo cálculo.
O que cada bloco significa, em uma linha.
| Bloco | O que é | Como ler |
|---|---|---|
| Aumento relativo | (taxa B menos taxa A) dividido pela taxa A | A manchete. O intervalo ao lado é a faixa em que o aumento verdadeiro provavelmente está. |
| Valor-p | Chance de uma diferença deste tamanho se A e B fossem idênticos | Abaixo de 0,05 com 95% de confiança significa significativo. Não é a chance de o resultado estar errado. |
| Confiança | 1 menos p, em porcentagem | O número que a maioria das ferramentas imprime. 87% não é quase 95%; é uma moeda do lado errado da linha. |
| Chance de B ser melhor | Probabilidade bayesiana de a taxa verdadeira de B estar acima da de A | A frase que as pessoas querem. 91% significa que B provavelmente é melhor, não que é 91% melhor. |
| Menor aumento que este teste enxergaria | O aumento relativo detectável com 80% de poder nestes tamanhos de braço | Se o aumento observado está abaixo dele, "não significativo" quer dizer "não deu para saber". |
| Divisão de tráfego | Parcela observada de visitantes em cada braço contra o planejado | Sinalizada quando a divisão foge mais do que o acaso permite. Conserte o teste antes de ler resultados. |
A: 10.000 visitantes, 500 conversões (5,00%). B: 10.000 visitantes, 560 conversões (5,60%). Aumento relativo +12%, p = 0,058.
Não significativo a 95%, e o intervalo vai de cerca de menos 0,4% a mais 24%. A leitura honesta é "provavelmente um pequeno positivo, pode ser nada". O menor aumento que este teste detectaria é de cerca de 17%, então um efeito de 12% sempre ia cair na zona cinzenta. Ele precisa de mais ou menos o dobro do tráfego, não de mais uma semana de esperança.
A: 5.000 visitantes, 100 conversões. B: 4.300 visitantes, 120 conversões. Divisão planejada 50/50.
B parece um vencedor claro com +40%. A calculadora se recusa a dizer isso: uma divisão de 5.000 para 4.300 tem menos de uma chance em um milhão de acontecer por acaso em 50/50. Algo está removendo usuários de B antes de serem contados, muitas vezes um redirecionamento que falha em um navegador, ou um filtro de bots que trata a variante de forma diferente. Seja o que for, os dois grupos não são comparáveis e o aumento não significa nada.
A: 400 visitantes, 12 conversões (3,0%). B: 400 visitantes, 19 conversões (4,75%). Aumento relativo +58%, p = 0,20.
Um aumento de 58% parece enorme, e o valor-p fica em torno de 0,19. Com 12 e 19 conversões a calculadora sinaliza poucos dados: os números oscilam tanto neste tamanho que um único cadastro a mais move a taxa em um quarto de ponto. Com este tráfego, o menor aumento que o teste confirmaria em um mês passa de 100%. Isso não é motivo para rodar mais tempo; é motivo para ler a aba de checagem de realidade.
