Italiano
Quanti visitatori servono a ogni variante prima che il test possa dire qualcosa, e quanti giorni sono con il tuo traffico. Imposta il lift minimo che vale la pena rilevare, la confidenza e la potenza, e leggi il conteggio con la formula sotto.
Ultimo aggiornamento
Coddy ti insegna facendoti scrivere codice vero nel browser: lezioni interattive, feedback immediato e aiuto dall'AI quando ti blocchi.
Una dimensione del campione è una promessa che fai a te stesso prima che il test inizi: "Guarderò il risultato quando lo avranno visto queste persone, e non prima." Senza, ogni A/B test scivola nella stessa storia. La prima settimana sembra promettente, la seconda il lift si restringe, qualcuno chiede se è già significativo e il test finisce il giorno in cui la barra diventa verde. Questa pagina ti dà il numero da scrivere nel piano, così la data di fine è un fatto e non un umore.
Il calcolo è la formula standard della dimensione del campione per due proporzioni, quella dietro il calcolatore di Evan Miller e quello di Optimizely, e dipende da quattro cose: il tasso base, il lift che vuoi poter rilevare, il livello di confidenza e la potenza. La potenza è quella che molti saltano. Con potenza all'80%, un lift reale della dimensione indicata viene colto otto volte su dieci; un test con metà del campione ha molto meno della metà della potenza, ed è per questo che un test sottodimensionato non è "una risposta più grezza" ma di solito nessuna risposta.
La curva sotto il risultato è la parte da ricordare. I visitatori necessari crescono con il quadrato di uno fratto il lift: dimezza il lift che vuoi vedere e ti serve circa quattro volte il traffico. Un sito che può confermare un lift del 30% in due settimane ha bisogno di circa nove volte il tempo per confermarne uno del 10%. Se i giorni vengono espressi in mesi, il calcolatore ti sta dicendo di testare qualcosa di più grande, o di risalire il funnel verso una metrica raggiunta da più persone, prima ancora di dirti di aspettare.
Usa il tasso della pagina o del passaggio che il test cambierà, misurato sullo stesso tipo di visitatori che vedranno il test. Non usare una media di tutto il sito quando testi un solo passaggio del funnel.
Chiediti quale lift ti farebbe rilasciare la modifica. Quello è il tuo effetto minimo rilevabile. Un 10% relativo è una scelta comune per una pagina matura; un redesign potrebbe giustificare il 20% o più.
95% di confidenza e 80% di potenza sono le convenzioni. Alza la confidenza quando annullare un falso vincitore è costoso; alza la potenza quando lasciarsi sfuggire un vincitore è costoso.
Tutte le varianti insieme, contando solo i visitatori che arriveranno al test. Il risultato si trasforma in giorni e settimane intere.
Il calcolatore ti dà la dimensione del campione per variante. Mettila nel piano del test con la data che ne deriva, e non leggere i risultati prima. La scheda del simulatore di peeking mostra perché.
Visitatori per variante con confidenza al 95% e potenza all'80%, bilaterale. Moltiplica per due per un test a due bracci.
| Tasso base | Lift +5% | Lift +10% | Lift +20% | Lift +50% |
|---|---|---|---|---|
| 1% | circa 637,000 | circa 163,000 | circa 42,700 | circa 7,800 |
| 3% | circa 208,000 | circa 53,200 | circa 13,900 | circa 2,500 |
| 5% | circa 122,000 | circa 31,200 | circa 8,200 | circa 1,500 |
| 10% | circa 57,800 | circa 14,800 | circa 3,800 | circa 690 |
| 20% | circa 25,600 | circa 6,500 | circa 1,700 | circa 290 |
Tasso base 5%, effetto minimo rilevabile 10% (obiettivo 5.5%), confidenza 95%, potenza 80%, bilaterale. Risultato: circa 31,000 visitatori per variante, 62,000 in totale.
Con 1,000 visitatori al giorno sono 62 giorni, quindi nove settimane intere. Molti team lo considererebbero troppo lungo e testerebbero una modifica più audace, oppure accetterebbero che questa pagina ha bisogno di un lift del 20% o più per essere testabile in due settimane.
Tasso base 3%, effetto minimo rilevabile 20% (obiettivo 3.6%). Risultato: circa 13,900 visitatori per variante.
Tassi base più bassi richiedono più visitatori per lo stesso lift relativo, perché ci sono meno conversioni da contare. Qui un lift relativo del 20% è solo 0.6 punti percentuali, e il test deve distinguere il 3.0% dal 3.6%.
Tasso base 5%, lift 10%, quattro varianti incluso il controllo. L'alpha per confronto diventa 0.05 / 3, e il campione per variante cresce di circa un terzo; il totale è quattro volte il valore per variante.
Aggiungere varianti è il modo più rapido per trasformare un test di due settimane in uno di due mesi. Testa un'idea forte contro il controllo; fai girare l'idea successiva dopo.
