Posso fare A/B test? La verifica di realtà sul traffico

La maggior parte dei siti piccoli non può fare A/B test, e nessuno glielo dice

Ogni guida all'A/B testing è scritta da un'azienda con milioni di visitatori. Il team di sperimentazione di Microsoft, Google, Booking.com e Airbnb fanno migliaia di test all'anno, e i loro consigli sono giusti per loro: testa tutto, fidati dei dati, rilascia ciò che vince. Una startup con 8,000 visitatori al mese legge gli stessi consigli, costruisce la stessa dashboard e poi non capisce perché ogni test finisce all'87% di confidenza con un lift che si restringe ogni settimana. Non sta sbagliando qualcosa. Sta facendo qualcosa che a quella scala non funziona.

Questa pagina fa i conti che le guide saltano. Con 8,000 visitatori al mese che convertono al 3%, confermare un lift del 10% richiede circa 106,000 visitatori: tredici mesi di tutti i tuoi visitatori, con la pagina ferma per tutto il tempo. In quattro settimane il lift minimo che potresti confermare è circa il 40%. Non sono problemi di messa a punto. Ronny Kohavi, che ha guidato la sperimentazione in Microsoft e Airbnb, fissa la soglia pratica per rilevare lift a una cifra a qualche centinaio di migliaia di utenti; sotto quella soglia, suggerisce, l'A/B testing può essere prematuro e la ricerca con gli utenti un investimento migliore.

Lo scriviamo per esperienza. La dashboard di Coddy ha gestito una ventina di esperimenti, dieci dei quali test di prezzo su singoli paesi, ciascuno su una piccola fetta di traffico, e mostrava "Continua" ogni volta che la confidenza era sotto il 95%. Diversi sono stati segnati come riusciti e rilasciati. Riguardandoli con questo calcolatore, alcuni di quei test non avrebbero potuto rilevare i lift che gli sono stati attribuiti. La versione onesta di quella dashboard è questa pagina: a cosa può rispondere questo traffico, quanto ci vorrebbe e quanto spesso un vincitore sarebbe un falso allarme?

Cosa decide se puoi fare test

• Il numero che ti limita sono le conversioni al mese, non i visitatori. Una pagina con 8,000 visitatori al 3% ha 240 conversioni al mese da dividere tra due bracci. Il test z ne vuole centinaia per braccio prima di dire qualcosa.
• Il lift per cui agiresti fissa il conto. Sii sincero con te stesso: se rilasceresti una modifica per un lift del 3%, ti serve un test capace di vedere il 3%, e quasi nessun sito piccolo ci riesce.
• Il tempo è un costo, non una soluzione. Un test che dura un trimestre tiene ferma la pagina per un trimestre, attraversa stagioni e campagne e finisce in un'azienda diversa da quella in cui è iniziato.
• Quanto spesso le tue idee funzionano cambia il significato di un vincitore. Se un'idea su dieci sposta davvero la metrica, allora con confidenza al 95% e potenza all'80% più di un terzo dei tuoi vincitori "significativi" sono falsi allarmi. Il tasso di base non è un dettaglio tecnico; è gran parte della risposta.
• Sotto la soglia ci sono metodi migliori. Parla con cinque utenti, guarda le registrazioni delle sessioni, rilascia la modifica e confronta prima e dopo con barre d'errore ampie, oppure testa su una metrica raggiunta da più visitatori, come un clic invece di un acquisto.

Come fare la verifica di realtà

1. 1

   Inserisci i visitatori mensili che vedrebbero il test

   Non tutto il sito. Se il test è sulla pagina dei prezzi, sono i visitatori della pagina dei prezzi. Se è un passaggio del checkout, sono le persone che arrivano a quel passaggio.

2. 2

   Inserisci il tasso di conversione attuale di quel passaggio

   Il calcolatore mostra le conversioni mensili che ne derivano, che sono il vero vincolo.

3. 3

   Indica il lift per cui agiresti

   Il lift relativo che ti farebbe rilasciare la modifica. Quasi tutti dicono 10% e lo intendono davvero; sii sincero se il tuo è più piccolo.

4. 4

   Leggi il verdetto e la scala

   Via libera significa meno di un mese. Al limite significa meno di un trimestre, con la pagina ferma per tutto il tempo. Fermati significa che il test non può rispondere alla domanda con il tuo traffico. La scala mostra invece quanto costerebbero lift più grandi.

5. 5

   Scegli un tasso di base e leggi il rischio di falsi positivi

   Scegli quanto spesso le tue idee funzionano davvero. Il riquadro mostra quale quota dei risultati significativi sarebbe un falso allarme a quel tasso, ed è il numero da ricordare la prossima volta che un test diventa verde.

Mesi per confermare un lift del 10% con confidenza al 95% e potenza all'80%

Due bracci, ogni visitatore entra nel test. Cerca la tua riga e la tua colonna.

Tre siti, tre verdetti

Errori nei test con poco traffico

• Fare comunque il test e leggerlo all'85%. Il livello di confidenza che hai fissato è una promessa su quanto spesso accetti di farti ingannare. Leggere sotto quella soglia a posteriori è come non averne mai fissata una.
• Testare modifiche minuscole. Colori dei pulsanti e parole scambiate producono lift di pochi punti percentuali nel migliore dei casi, che i siti piccoli non possono rilevare. Se proprio devi testare, testa qualcosa che potrebbe plausibilmente spostare il numero di un terzo.
• Testare in fondo al funnel. Gli acquisti sono rari; i clic sono comuni. Un test sul clic che porta all'acquisto ha dieci volte gli eventi e può arrivare in fondo.
• Lasciare girare un test per sei mesi. Stagioni, campagne e modifiche al prodotto ci finiscono dentro, e i due bracci finiscono per misurare epoche diverse.
• Fidarsi di un vincitore perché era significativo. Con pochi vincitori reali tra le tue idee, un risultato significativo è un falso allarme più spesso di quanto suggerisca il p-value. Il riquadro del rischio di falsi positivi ci mette un numero.
• Trattare "non significativo" come "l'idea è fallita". Con poco traffico quasi niente è significativo. L'idea potrebbe andare bene; il test non poteva vederlo.

FAQ sulla verifica di realtà