Español
Cuántos visitantes necesita cada variante antes de que el test pueda decir algo, y cuántos días son eso con tu tráfico. Fija el menor lift que merece detectarse, la confianza y la potencia, y lee el recuento con la fórmula debajo.
Última actualización
Coddy te enseña escribiendo código real en tu navegador: lecciones interactivas, feedback al instante y ayuda de IA cuando te atascas.
Un tamaño de muestra es una promesa que te haces a ti mismo antes de que empiece el test: "miraré el resultado cuando lo hayan visto estas personas, y no antes". Sin ella, todo test A/B deriva hacia la misma historia. La primera semana pinta bien, la segunda el lift se encoge, alguien pregunta si ya es significativo, y el test termina el día que la barra se pone verde. Esta página te da el número para escribirlo en el plan, de modo que la fecha de fin sea un hecho y no un estado de ánimo.
El cálculo es el tamaño de muestra estándar para dos proporciones, el que hay detrás de la calculadora de Evan Miller y de la de Optimizely, y depende de cuatro cosas: la tasa base, el lift que quieres poder detectar, el nivel de confianza y la potencia. La potencia es la que la gente se salta. Con un 80% de potencia, un lift real del tamaño que nombraste se caza ocho veces de cada diez; un test con la mitad de la muestra tiene mucho menos de la mitad de la potencia, y por eso un test infrapotenciado no es "una respuesta más tosca" sino, normalmente, ninguna respuesta.
La curva bajo el resultado es la parte que merece recordarse. Los visitantes necesarios crecen con el cuadrado del inverso del lift: reduce a la mitad el lift que quieres ver y necesitas unas cuatro veces más tráfico. Un sitio que puede confirmar un lift del 30% en dos semanas necesita unas nueve veces más tiempo para confirmar uno del 10%. Si el número de días sale en meses, la calculadora te está diciendo que pruebes algo más grande, o que subas en el embudo hacia una métrica a la que llegue más gente, antes que decirte que esperes.
Usa la tasa de la página o el paso que el test va a cambiar, medida sobre el mismo tipo de visitantes que verá el test. No uses una media de todo el sitio cuando estás probando un paso del embudo.
Pregúntate qué lift te haría lanzar el cambio. Ese es tu efecto mínimo detectable. Un 10% relativo es una elección habitual para una página madura; un rediseño podría justificar un 20% o más.
95% de confianza y 80% de potencia son las convenciones. Sube la confianza cuando un falso ganador sea caro de revertir; sube la potencia cuando un ganador perdido sea caro de dejar sobre la mesa.
Todas las variantes juntas, contando solo los visitantes que llegarán al test. El resultado se convierte en días y semanas completas.
La calculadora te da el tamaño de muestra por variante. Ponlo en el plan del test con la fecha que implica, y no leas resultados antes. La pestaña del simulador de miradas explica por qué.
Visitantes por variante al 95% de confianza y 80% de potencia, a dos colas. Multiplica por dos para un test de dos brazos.
| Tasa base | Lift +5% | Lift +10% | Lift +20% | Lift +50% |
|---|---|---|---|---|
| 1% | unos 637,000 | unos 163,000 | unos 42,700 | unos 7,800 |
| 3% | unos 208,000 | unos 53,200 | unos 13,900 | unos 2,500 |
| 5% | unos 122,000 | unos 31,200 | unos 8,200 | unos 1,500 |
| 10% | unos 57,800 | unos 14,800 | unos 3,800 | unos 690 |
| 20% | unos 25,600 | unos 6,500 | unos 1,700 | unos 290 |
Tasa base 5%, efecto mínimo detectable 10% (objetivo 5.5%), 95% de confianza, 80% de potencia, dos colas. Resultado: unos 31,000 visitantes por variante, 62,000 en total.
Con 1,000 visitantes al día son 62 días, es decir, nueve semanas completas. Muchos equipos lo considerarían demasiado y o bien probarían un cambio más atrevido o aceptarían que esta página necesita un lift del 20% o más para ser testeable en quince días.
Tasa base 3%, efecto mínimo detectable 20% (objetivo 3.6%). Resultado: unos 13,900 visitantes por variante.
Las tasas base más bajas necesitan más visitantes para el mismo lift relativo, porque hay menos conversiones que contar. Un lift relativo del 20% aquí son solo 0.6 puntos porcentuales, y el test tiene que distinguir 3.0% de 3.6%.
Tasa base 5%, lift 10%, cuatro variantes incluido el control. El alfa por comparación pasa a 0.05 / 3, y la muestra por variante crece alrededor de un tercio; el total es cuatro veces la cifra por variante.
Añadir variantes es la forma más rápida de convertir un test de dos semanas en uno de dos meses. Prueba una idea fuerte contra el control; corre la siguiente idea después.
