Polski
Pytanie, które warto zadać przed pierwszym testem, a nie po dziesiątym. Wpisz miesięcznych odwiedzających, stopę konwersji i wzrost, na który naprawdę zareagujesz, a dostaniesz prostą odpowiedź: działaj, na granicy albo stop i zrób coś innego.
Ostatnia aktualizacja
Coddy uczy cię przez pisanie prawdziwego kodu w przeglądarce: interaktywne lekcje, natychmiastowa informacja zwrotna i pomoc AI, gdy utkniesz.
Każdy poradnik o testach A/B pisze firma z milionami odwiedzających. Zespół eksperymentów Microsoftu, Google, Booking.com i Airbnb prowadzą tysiące testów rocznie, a ich rady są dobre dla nich: testuj wszystko, ufaj danym, wdrażaj zwycięzców. Startup z 8000 odwiedzających miesięcznie czyta te same rady, buduje ten sam panel, a potem nie rozumie, dlaczego każdy test kończy się na 87% ufności ze wzrostem, który co tydzień maleje. Nie robi tego źle. Robi coś, co przy tej skali nie działa.
Ta strona wykonuje rachunki, które poradniki pomijają. Przy 8000 odwiedzających miesięcznie i konwersji 3% potwierdzenie wzrostu o 10% wymaga około 106 000 odwiedzających: trzynastu miesięcy całego ruchu, przez cały ten czas z zamrożoną stroną. W cztery tygodnie najmniejszy możliwy do potwierdzenia wzrost to około 40%. To nie są problemy do dostrojenia. Ronny Kohavi, który kierował eksperymentami w Microsofcie i Airbnb, stawia praktyczny próg wykrywania jednocyfrowych wzrostów na kilkuset tysiącach użytkowników. Poniżej tego sugeruje, że testy A/B mogą być przedwczesne, a badania z użytkownikami lepszą inwestycją.
Piszemy to z doświadczenia. Panel Coddy obsłużył około dwudziestu nazwanych eksperymentów, z czego dziesięć to testy cen w pojedynczych krajach, każdy na małym wycinku ruchu, i pokazywał "Kontynuuj", gdy ufność była poniżej 95%. Kilka oznaczono jako udane i wdrożono. Patrząc wstecz z tym kalkulatorem, część tych testów nie mogła wykryć wzrostów, które im przypisano. Uczciwa wersja tamtego panelu to ta strona: na co ten ruch może odpowiedzieć, ile by to trwało i jak często zwycięzca byłby fałszywym alarmem?
Nie całą stronę. Jeśli test dotyczy strony cennika, liczą się odwiedzający cennik. Jeśli to krok zamówienia, liczą się osoby, które do niego docierają.
Kalkulator pokazuje, ile konwersji miesięcznie z tego wynika, a to jest prawdziwe ograniczenie.
Wzrost względny, przy którym wdrożysz zmianę. Większość osób mówi 10% i tak myśli. Jeśli u ciebie to mniej, przyznaj to szczerze.
Działaj oznacza mniej niż miesiąc. Na granicy oznacza mniej niż kwartał, przez cały czas z zamrożoną stroną. Stop oznacza, że test nie odpowie na pytanie przy twoim ruchu. Drabinka pokazuje, ile kosztowałyby większe wzrosty.
Wybierz, jak często twoje pomysły naprawdę działają. Kafelek pokazuje, jaka część istotnych wyników byłaby przy tej stopie fałszywymi alarmami. Warto zapamiętać tę liczbę, gdy następny test zrobi się zielony.
Dwa warianty, każdy odwiedzający trafia do testu. Znajdź swój wiersz i swoją kolumnę.
| Odwiedzający miesięcznie | Bazowa 1% | Bazowa 3% | Bazowa 5% | Bazowa 10% |
|---|---|---|---|---|
| 3,000 | ponad 100 mies. | 35 mies. | 21 mies. | 9,8 mies. |
| 8,000 | 41 mies. | 13 mies. | 7,8 mies. | 3,7 mies. |
| 25,000 | 13 mies. | 4,3 mies. | 2,5 mies. | 5 tyg. |
| 100,000 | 3,3 mies. | 5 tyg. | 19 dni | 9 dni |
| 500,000 | 20 dni | 6 dni | 4 dni | 2 dni |
8000 odwiedzających miesięcznie, 3% rejestracji, chce zobaczyć wzrost o 10%. Werdykt: stop. Około 13 miesięcy i 106 000 odwiedzających. W cztery tygodnie najmniejszy możliwy do potwierdzenia wzrost to około 40%.
Dwieście czterdzieści rejestracji miesięcznie nie rozstrzygnie różnicy 0,3 punktu. Czas zespołu lepiej wydać na rozmowy z pięcioma użytkownikami i na zmiany na tyle duże, że będą widoczne bez testu: nowy nagłówek do nich nie należy, nowy model cenowy może.
50 000 odwiedzających miesięcznie, 2% zapisów do newslettera, chce wzrostu o 10%. Werdykt: na granicy. Około 3,2 miesiąca. W cztery tygodnie najmniejszy możliwy do potwierdzenia wzrost to około 19%.
Da się testować, ale tylko odważne zmiany. Testowanie położenia formularza ma sens, jeśli może przesunąć zapisy o jedną piątą. Testowanie tekstu przycisku nie ma. Alternatywnie testuj kliknięcie prowadzące do formularza, które wykonuje znacznie więcej odwiedzających.
400 000 odwiedzających miesięcznie, 4% konwersji, chce wzrostu o 10%. Werdykt: działaj. Odwiedzający zbiorą się w mniej niż tydzień, ale i tak prowadź test przez dwa pełne tygodnie.
To skala, dla której pisze się poradniki o testach A/B. Pozostałe ryzyko to stopa bazowa: jeśli jeden pomysł na pięć naprawdę działa, mniej więcej co szósty istotny zwycięzca to wciąż fałszywy alarm, a zakładka symulatora podglądania pokazuje, jak szybko to się pogarsza przy codziennym sprawdzaniu.
