¿Puedo Hacer Test A/B? La Prueba de Realidad del Tráfico
La pregunta que hay que hacerse antes del primer test, no después del décimo. Introduce tus visitantes mensuales, tu tasa de conversión y el lift por el que de verdad actuarías, y recibe una respuesta clara: adelante, justo, o para y haz otra cosa.
La mayoría de los sitios pequeños no puede hacer test A/B, y nadie se lo dice
Toda guía de A/B testing está escrita por una empresa con millones de visitantes. El equipo de experimentación de Microsoft, Google, Booking.com y Airbnb corren miles de tests al año, y su consejo es correcto para ellos: pruébalo todo, fíate de los datos, lanza lo que gane. Una startup con 8,000 visitantes al mes lee el mismo consejo, monta el mismo panel, y luego no entiende por qué cada test termina en un 87% de confianza con un lift que se encoge cada semana. No lo está haciendo mal. Está haciendo algo que no funciona a ese tamaño.
Esta página hace la aritmética que las guías se saltan. Con 8,000 visitantes al mes convirtiendo al 3%, confirmar un lift del 10% requiere unos 106,000 visitantes: trece meses de cada visitante que tienes, con la página congelada todo ese tiempo. En cuatro semanas el menor lift que podrías confirmar es de alrededor del 40%. Eso no son problemas de ajuste fino. Ronny Kohavi, que dirigió la experimentación en Microsoft y Airbnb, sitúa el suelo práctico para detectar lifts de un dígito en unos cientos de miles de usuarios; por debajo de eso, sugiere que el A/B testing puede ser prematuro y la investigación con usuarios el mejor gasto.
Escribimos esto desde la experiencia. El propio panel de Coddy corrió unos veinte experimentos con nombre, diez de ellos tests de precios en países concretos, cada uno sobre una porción pequeña de tráfico, y decía "Sigue corriendo" siempre que la confianza quedaba por debajo del 95%. Varios se marcaron como exitosos y se lanzaron. Mirando atrás con esta calculadora, algunos de esos tests no podían haber detectado los lifts que se les atribuyeron. La versión honesta de ese panel es esta página: qué puede responder este tráfico, cuánto tardaría, y con qué frecuencia un ganador sería una falsa alarma.
Qué decide si puedes hacer tests
Las conversiones al mes, no los visitantes, son el número que te limita. Una página con 8,000 visitantes al 3% tiene 240 conversiones al mes para repartir entre dos brazos. La prueba z necesita cientos por brazo antes de decir nada.
El lift por el que actuarías fija la factura. Sé sincero: si lanzarías un cambio por un lift del 3%, necesitas un test que pueda ver un 3%, y casi ningún sitio pequeño puede.
El tiempo es un coste, no una solución. Un test que tarda un trimestre congela la página un trimestre, abarca estaciones y campañas, y termina en un negocio distinto del que empezó.
Con qué frecuencia funcionan tus ideas cambia lo que significa un ganador. Si una idea de cada diez mueve de verdad la métrica, entonces al 95% de confianza y 80% de potencia más de un tercio de tus ganadores "significativos" son falsas alarmas. La tasa base no es un tecnicismo; es la mayor parte de la respuesta.
Por debajo de la línea hay métodos mejores. Habla con cinco usuarios, mira grabaciones de sesiones, lanza el cambio y compara antes y después con barras de error anchas, o prueba sobre una métrica a la que lleguen más visitantes, como un clic en vez de una compra.
Cómo hacer la prueba de realidad
1
Introduce los visitantes mensuales que verían el test
No todo el sitio. Si el test está en la página de precios, son los visitantes de la página de precios. Si es un paso del checkout, son las personas que llegan a ese paso.
2
Introduce la tasa de conversión actual de ese paso
La calculadora muestra las conversiones al mes que eso implica, que es la restricción real.
3
Nombra el lift por el que actuarías
El lift relativo que te haría lanzar el cambio. La mayoría dice 10% y lo dice en serio; sé sincero si el tuyo es menor.
4
Lee el veredicto y la escalera
Adelante significa menos de un mes. Justo significa menos de un trimestre, con la página congelada todo el tiempo. Para significa que el test no puede responder la pregunta con tu tráfico. La escalera muestra lo que costarían lifts mayores en su lugar.
5
Elige una tasa base y lee el riesgo de falso positivo
Elige con qué frecuencia funcionan de verdad tus ideas. La casilla muestra qué parte de los resultados significativos serían falsas alarmas a esa tasa, que es el número que hay que recordar la próxima vez que un test salga en verde.
Meses para confirmar un lift del 10% al 95% de confianza, 80% de potencia
Dos brazos, cada visitante entrando en el test. Lee tu fila y tu columna.
Visitantes mensuales
Tasa base 1%
Tasa base 3%
Tasa base 5%
Tasa base 10%
3,000
más de 100 meses
35 meses
21 meses
9.8 meses
8,000
41 meses
13 meses
7.8 meses
3.7 meses
25,000
13 meses
4.3 meses
2.5 meses
5 semanas
100,000
3.3 meses
5 semanas
19 días
9 días
500,000
20 días
6 días
4 días
2 días
Tres sitios, tres veredictos
El SaaS en fase inicial
8,000 visitantes al mes, 3% de tasa de registro, quiere ver un lift del 10%. Veredicto: para. Unos 13 meses y 106,000 visitantes. En cuatro semanas el menor lift confirmable es de alrededor del 40%.
Doscientos cuarenta registros al mes no pueden resolver una diferencia de 0.3 puntos. El tiempo del equipo está mejor invertido en la entrevista a cinco usuarios y en cambios lo bastante grandes como para notarse sin un test: un titular nuevo no es uno de ellos; un modelo de precios nuevo podría serlo.
El sitio de contenidos
50,000 visitantes al mes, 2% de tasa de suscripción a la newsletter, quiere un lift del 10%. Veredicto: justo. Unos 3.2 meses. En cuatro semanas el menor lift confirmable es de alrededor del 19%.
Testeable, pero solo para cambios atrevidos. Probar la ubicación del formulario está bien si podría mover las suscripciones una quinta parte; probar el texto del botón, no. Como alternativa, prueba sobre el clic hacia el formulario, que hacen muchos más visitantes.
El marketplace
400,000 visitantes al mes, 4% de conversión, quiere un lift del 10%. Veredicto: adelante. Los visitantes llegan en menos de una semana; corre dos semanas completas de todos modos.
Este es el tamaño para el que están escritas las guías de A/B testing. El riesgo que queda es la tasa base: si una idea de cada cinco funciona de verdad, más o menos uno de cada seis ganadores significativos sigue siendo una falsa alarma, y la pestaña del simulador de miradas enseña lo rápido que empeora con revisiones diarias.
Errores de testing con poco tráfico
Correr el test de todos modos y leerlo al 85%. El nivel de confianza que fijas es una promesa sobre con qué frecuencia aceptas que te engañen. Leer por debajo después del hecho es lo mismo que no haberlo fijado nunca.
Probar cambios diminutos. Los colores de botón y los cambios de palabras producen lifts de unos pocos puntos como mucho, que los sitios pequeños no pueden detectar. Si tienes que hacer un test, prueba algo que plausiblemente pueda mover el número un tercio.
Probar en el fondo del embudo. Las compras son raras; los clics, frecuentes. Un test sobre el clic que lleva a la compra tiene diez veces más eventos y puede terminar.
Dejar un test corriendo seis meses. Estaciones, campañas y cambios de producto se cuelan dentro, y los dos brazos acaban midiendo épocas distintas.
Fiarse de un ganador porque fue significativo. Con pocos ganadores reales entre tus ideas, un resultado significativo es más a menudo una falsa alarma de lo que el valor p sugiere. La casilla de riesgo de falso positivo le pone un número.
Tratar "no significativo" como "la idea falló". Con poco tráfico casi nada es significativo. La idea puede ser buena; el test no podía verla.
Preguntas frecuentes sobre la prueba de realidad
¿Cuánto tráfico necesito para hacer test A/B?
Depende de tu tasa de conversión y del lift que quieres ver, y por eso esta página pide ambos. Como regla general, confirmar un lift relativo del 10% sobre una tasa de conversión del 3% requiere unos 100,000 visitantes; confirmar un lift del 30% requiere unos 12,000. Los sitios por debajo de 10,000 visitantes al mes normalmente solo pueden detectar efectos muy grandes.
¿Qué debería hacer un sitio pequeño en vez de test A/B?
Hablar con usuarios, en persona o por llamada: cinco conversaciones encuentran la mayoría de los problemas de una página. Mirar grabaciones de sesiones. Hacer cambios atrevidos, lanzarlos y comparar unas semanas antes y después, sabiendo que la comparación es tosca. Probar sobre métricas a las que lleguen más visitantes. Y cuando llegue el tráfico, volver aquí y hacer tests como es debido.
¿Qué es el riesgo de falso positivo y en qué se diferencia del valor p?
El valor p te dice cuán sorprendente sería el resultado si nada hubiera cambiado. El riesgo de falso positivo te dice, de los tests que salieron significativos, cuántos no tenían nada detrás. Depende de con qué frecuencia funcionan de verdad tus ideas: con una tasa base del 10%, 95% de confianza y 80% de potencia, alrededor del 36% de los ganadores significativos son falsas alarmas. Los grandes programas de experimentación reportan que solo entre el 10 y el 33% de las ideas mueven su métrica, y por eso la tasa base importa tanto.
¿Un test de 3.5 meses es realmente imposible?
Imposible no, y la calculadora dice "justo" en vez de "para" hasta un trimestre. Pero una página congelada un trimestre es una página que nadie está mejorando, y un test que abarca una estación o una campaña compara dos periodos distintos. Si el cambio es lo bastante grande como para justificar un trimestre de espera, probablemente es lo bastante grande como para lanzarlo y medir antes y después.
¿Puedo bajar la confianza al 90% para que el test sea más rápido?
Puedes, si lo decides antes del test y aceptas una tasa de falsas alarmas de una de cada diez encima del efecto de la tasa base. Acorta el test más o menos un tercio, no el factor de diez que un sitio pequeño necesitaría. Subir el lift que estás buscando ayuda mucho más.
¿Por qué la calculadora dice para cuando la calculadora de tamaño de muestra da un número?
Las dos usan la misma fórmula. La página de tamaño de muestra te dice el recuento; esta página lo divide entre tu tráfico y juzga el resultado. Un recuento de 106,000 visitantes es un número; trece meses es un veredicto.
