Español
Dos mil tests en los que A y B son la misma página, corridos con tu tráfico. Mira cuántos habría llamado ganador alguien que revisa a diario, y con cuántos de esos mismos tests se engaña quien espera a la fecha de fin.
Última actualización
Coddy te enseña escribiendo código real en tu navegador: lecciones interactivas, feedback al instante y ayuda de IA cuando te atascas.
Este es el hábito. Arrancas un test, y cada mañana abres el panel. La barra sube poco a poco, baja, vuelve a subir, y un martes cruza el 95%. Lo das por bueno, lanzas el ganador y pasas a otra cosa. El problema es que un valor p deambula. En un test en el que las dos variantes son idénticas, el valor p sigue cruzando 0.05 algunos días por azar; simplemente vuelve a cruzar después. Parar en el primer cruce significa cazarlo de paso, y el nivel de confianza que creías tener ya no existe.
El tamaño del efecto sorprende a la gente. Al 95% de confianza, un test leído una vez al final te engaña más o menos una de cada veinte veces, que es el trato que firmaste. Lee el mismo test cada día durante cuatro semanas y para el primer día verde, y el simulador suele mostrar un falso ganador en un cuarto o más de los tests en los que nada cambió. El texto original de Evan Miller lo situaba por encima del 20% para quien mira a diario; Optimizely reconstruyó su motor estadístico en 2015 porque la tasa de falsos positivos de sus clientes había superado esa cifra. Revisar semanalmente en vez de a diario reduce el daño más o menos a la mitad, pero no lo elimina.
La simulación de aquí es honesta sobre lo que es: cada test extrae conversiones a la tasa verdadera para ambos brazos, ejecuta la prueba z ordinaria de dos proporciones en cada mirada sobre todo lo recogido hasta el momento, y registra dónde pararía quien mira. Cada trazo del gráfico es un test; cada punto es una mañana en la que alguien habría anunciado un resultado. Pon el lift real en +10% para ver la otra mitad de la historia, donde quien mira caza un efecto real pronto pero con un lift exagerado, y habría "ganado" con el mismo entusiasmo si el efecto hubiera sido cero.
La simulación extrae conversiones a tu tasa real, así que el deambular del valor p coincide con el ruido que verías de verdad.
A diario, cada tres días o cada semana. La brecha entre la tasa de quien mira y la tasa honesta es el precio de ese hábito.
Eso convierte cada test en un test A/A: cualquier ganador es una falsa alarma por construcción. Cambia después a +10% o +30% para ver a quien mira con un efecto real.
La tasa de quien mira es con qué frecuencia el que revisa a diario declaró un ganador. La tasa de fecha de fin debería estar cerca del alfa que elegiste; si lo está, el test honesto está cumpliendo lo prometido.
Cada tanda extrae tests aleatorios nuevos. Las tasas se mueven un poco; la brecha no.
Al 95% de confianza, una lectura honesta al final se engaña alrededor del 5% de las veces. Cifras aproximadas de la simulación y de la literatura para quien mira y para en la primera mirada significativa.
| Cada cuánto miras | Miradas en 4 semanas | Falsos ganadores |
|---|---|---|
| Una vez, al final | 1 | alrededor del 5% |
| Cada semana | 4 | alrededor del 10 al 13% |
| Cada 3 días | 9 a 10 | alrededor del 15 al 20% |
| A diario | 28 | alrededor del 25 al 30% |
| A diario durante 12 semanas | 84 | más del 35% |
5% de conversión, 1,000 visitantes al día, 28 días, revisado cada mañana. En nuestra tanda: quien mira declaró un ganador en alrededor del 28% de 2,000 tests A/A; leyendo una vez al final, 4.5%.
Seis veces la tasa de falsas alarmas, para un test que parecía cuidadoso porque alguien lo vigilaba cada día. La mitad de esos "ganadores" coronaron a B y la otra mitad a A, porque no había nada que encontrar.
Mismo tráfico, misma duración, revisado una vez a la semana. En nuestra tanda: alrededor del 12% para quien mira frente al 5% al final.
Mirar cuatro veces en vez de veintiocho ayuda mucho y aun así más que duplica la tasa prometida. No hay ningún número de miradas salvo una que mantenga la promesa.
Pon el lift real de B en +10% con el mismo tráfico. El test honesto a 28 días tiene poca potencia para un lift tan pequeño con este tráfico; quien mira para antes más a menudo, en los días de suerte.
Este es el caso seductor: quien mira parece encontrar cosas más rápido. Pero los días en que para son los días en que el lift parecía mayor, así que la estimación lanzada está inflada, y el mismo hábito habría encontrado un "ganador" con el lift puesto a cero.
