Polski
Ilu odwiedzających potrzebuje każdy wariant, zanim test cokolwiek powie, i ile to dni przy twoim ruchu. Ustaw najmniejszy wzrost wart wykrycia, ufność i moc, a potem odczytaj liczbę z rozpisanym wzorem.
Ostatnia aktualizacja
Coddy uczy cię przez pisanie prawdziwego kodu w przeglądarce: interaktywne lekcje, natychmiastowa informacja zwrotna i pomoc AI, gdy utkniesz.
Wielkość próby to obietnica, którą składasz sobie przed startem testu: "Spojrzę na wynik, gdy zobaczy go tyle osób, i ani chwili wcześniej". Bez niej każdy test A/B zamienia się w tę samą historię. Pierwszy tydzień wygląda obiecująco, w drugim wzrost maleje, ktoś pyta, czy to już istotne, a test kończy się w dniu, w którym pasek robi się zielony. Ta strona daje liczbę do wpisania w plan, żeby data końca była faktem, a nie nastrojem.
Obliczenie to standardowa wielkość próby dla dwóch proporcji, ta sama, która stoi za kalkulatorem Evana Millera i Optimizely, i zależy od czterech rzeczy: stopy bazowej, wzrostu, który chcesz móc wykryć, poziomu ufności i mocy. Moc to ta, którą ludzie pomijają. Przy mocy 80% prawdziwy wzrost o podanej wielkości zostaje wykryty osiem razy na dziesięć. Test z połową próby ma znacznie mniej niż połowę mocy, dlatego test o za małej mocy to nie "przybliżona odpowiedź", tylko zwykle brak odpowiedzi.
Krzywa pod wynikiem to część warta zapamiętania. Liczba potrzebnych odwiedzających rośnie z kwadratem odwrotności wzrostu: zmniejsz o połowę wzrost, który chcesz zobaczyć, a potrzebujesz około czterech razy więcej ruchu. Strona, która potwierdza wzrost o 30% w dwa tygodnie, potrzebuje około dziewięć razy więcej czasu, by potwierdzić wzrost o 10%. Jeśli liczba dni wychodzi w miesiącach, kalkulator mówi ci, żeby testować coś większego albo przejść wyżej w lejku do metryki, do której dociera więcej osób, zanim powie ci, żeby czekać.
Użyj stopy strony lub kroku, który test zmieni, mierzonej na tym samym rodzaju odwiedzających, których zobaczy test. Nie używaj średniej z całej witryny, gdy testujesz jeden krok lejka.
Zapytaj siebie, jaki wzrost sprawi, że wdrożysz zmianę. To twój minimalny wykrywalny efekt. 10% względnie to częsty wybór dla dojrzałej strony, a przebudowa może uzasadniać 20% lub więcej.
95% ufności i 80% mocy to konwencje. Podnieś ufność, gdy wycofanie fałszywego zwycięzcy jest drogie, a moc, gdy przeoczenie zwycięzcy kosztuje dużo.
Wszystkie warianty razem, licząc tylko odwiedzających, którzy dotrą do testu. Wynik zamienia się na dni i pełne tygodnie.
Kalkulator podaje wielkość próby na wariant. Wpisz ją do planu testu razem z datą, która z niej wynika, i nie czytaj wyników wcześniej. Zakładka symulatora podglądania pokazuje dlaczego.
Odwiedzający na wariant przy 95% ufności i 80% mocy, test dwustronny. Pomnóż przez dwa dla testu z dwoma wariantami.
| Stopa bazowa | Wzrost +5% | Wzrost +10% | Wzrost +20% | Wzrost +50% |
|---|---|---|---|---|
| 1% | około 637 000 | około 163 000 | około 42 700 | około 7800 |
| 3% | około 208 000 | około 53 200 | około 13 900 | około 2500 |
| 5% | około 122 000 | około 31 200 | około 8200 | około 1500 |
| 10% | około 57 800 | około 14 800 | około 3800 | około 690 |
| 20% | około 25 600 | około 6500 | około 1700 | około 290 |
Stopa bazowa 5%, minimalny wykrywalny efekt 10% (cel 5,5%), 95% ufności, 80% mocy, test dwustronny. Wynik: około 31 000 odwiedzających na wariant, łącznie 62 000.
Przy 1000 odwiedzających dziennie to 62 dni, czyli dziewięć pełnych tygodni. Wiele zespołów uznałoby to za zbyt długo i albo przetestowałoby odważniejszą zmianę, albo zaakceptowało, że ta strona potrzebuje wzrostu o 20% lub więcej, by dało się ją przetestować w dwa tygodnie.
Stopa bazowa 3%, minimalny wykrywalny efekt 20% (cel 3,6%). Wynik: około 13 900 odwiedzających na wariant.
Niższe stopy bazowe wymagają więcej odwiedzających dla tego samego wzrostu względnego, bo jest mniej konwersji do policzenia. Wzrost względny o 20% to tu tylko 0,6 punktu procentowego, a test musi odróżnić 3,0% od 3,6%.
Stopa bazowa 5%, wzrost 10%, cztery warianty łącznie z kontrolnym. Alfa na porównanie wynosi 0,05 / 3, a próba na wariant rośnie o około jedną trzecią. Suma to cztery razy wartość na wariant.
Dodawanie wariantów to najszybszy sposób, by zamienić dwutygodniowy test w dwumiesięczny. Testuj jeden mocny pomysł przeciwko grupie kontrolnej, a kolejny uruchom potem.
