Polski
Wpisz liczbę odwiedzających i konwersji dla każdego wariantu. Dostajesz werdykt w jednym zdaniu, p-value z obliczeniami, przedział, bayesowską szansę, że B jest lepsze, sprawdzenie, czy podział ruchu nie jest zepsuty, oraz najmniejszy wzrost, jaki ten test w ogóle mógł wykryć.
Ostatnia aktualizacja
Coddy uczy cię przez pisanie prawdziwego kodu w przeglądarce: interaktywne lekcje, natychmiastowa informacja zwrotna i pomoc AI, gdy utkniesz.
Każdy kalkulator testów A/B pokazuje p-value. Większość na tym kończy i właśnie dlatego założyciele firm wpatrują się w 87% ufności, nie wiedząc, co to znaczy. Ten odpowiada na pytania, które naprawdę decydują o kolejnym kroku. Czy różnica jest większa, niż dałby sam przypadek? Jak duży może być prawdziwy wzrost w najgorszym i najlepszym razie? Jeśli test wyszedł "nieistotny", to czy przy takiej próbie w ogóle mógł coś znaleźć? I czy sam podział ruchu jest zdrowy, czy porównujesz dwie grupy, które nigdy nie były równe?
Kalkulator wykonuje standardowy test z dla dwóch proporcji, ten sam, którego używa klasyczny silnik Optimizely, tryb częstościowy VWO i każdy podręcznik statystyki, i pokazuje każdy wiersz rachunku: wspólną stopę, błąd standardowy, wynik z i pole ogona. Obok znajduje się odpowiedź bayesowska, czyli prawdopodobieństwo, że prawdziwa stopa B jest wyższa niż A, bo zdanie "jest 91% szansy, że B jest lepsze" to właśnie to, czego większość ludzi oczekuje od p-value, a to zupełnie inna liczba.
Zbudowaliśmy go po spojrzeniu na własny panel. Coddy przeprowadziło około dwudziestu nazwanych eksperymentów, z czego dziesięć to testy cen w poszczególnych krajach na małych wycinkach ruchu, a nasze wewnętrzne narzędzie pokazywało pasek ufności z napisem "Kontynuuj" poniżej 95%. To opcjonalne zatrzymywanie z przyjazną twarzą. Trzy zakładki obok tej, wielkość próby, sprawdzenie realiów i symulator podglądania, istnieją, bo kalkulator, który raportuje tylko istotność, pomaga szybciej oszukiwać samych siebie.
Odwiedzający to osoby przypisane do danego wariantu, a nie odsłony strony. Konwersje to ci, którzy wykonali mierzoną akcję: zarejestrowali się, zapłacili, kliknęli. Obie wartości muszą być liczone tak samo dla obu wariantów.
Domyślnie jest 95% dwustronnie i to uczciwy wybór, gdy B może być lepsze albo gorsze. Test jednostronny ma sens tylko wtedy, gdy gorsze B zostałoby potraktowane dokładnie tak samo jak brak zmiany, a to zdarza się rzadziej, niż się wydaje.
Baner mówi, co wspierają liczby. Kafelek wzrostu względnego pokazuje przedział: prawdziwy efekt najpewniej leży gdzieś w nim, a do planowania warto brać dolną granicę, nie estymację punktową.
Jeśli podział jest oznaczony jako błędny, najpierw napraw test, zanim cokolwiek odczytasz. Jeśli najmniejszy wykrywalny wzrost jest większy niż zaobserwowany, test miał za małą moc: przejdź do zakładki wielkości próby i zobacz, ilu odwiedzających potrzeba.
Kopiuj wynik daje podsumowanie do wiadomości lub dokumentu. Kopiuj link umieszcza cztery liczby w adresie URL, więc każdy, kto go otworzy, zobaczy te same obliczenia.
Co oznacza każdy kafelek, w jednym zdaniu.
| Kafelek | Czym jest | Jak go czytać |
|---|---|---|
| Wzrost względny | (stopa B minus stopa A) podzielone przez stopę A | Główna liczba. Przedział obok to zakres, w którym najpewniej leży prawdziwy wzrost. |
| P-value | Szansa na tak dużą różnicę, gdyby A i B były identyczne | Poniżej 0,05 przy 95% ufności oznacza istotność. To nie jest szansa, że wynik jest błędny. |
| Ufność | 1 minus p, w procentach | Liczba, którą pokazuje większość narzędzi. 87% to nie prawie 95%, to rzut monetą po złej stronie linii. |
| Szansa, że B jest lepsze | Bayesowskie prawdopodobieństwo, że prawdziwa stopa B jest wyższa niż A | Zdanie, którego ludzie szukają. 91% znaczy, że B jest prawdopodobnie lepsze, a nie że jest lepsze o 91%. |
| Najmniejszy wzrost, jaki test mógł wykryć | Wzrost względny wykrywalny z mocą 80% przy tych wielkościach grup | Jeśli zaobserwowany wzrost jest mniejszy, "nieistotny" znaczy "nie dało się stwierdzić". |
| Podział ruchu | Zaobserwowany udział odwiedzających w każdym wariancie względem planu | Oznaczany, gdy odchylenie jest większe, niż pozwala przypadek. Napraw test, zanim odczytasz wyniki. |
A: 10 000 odwiedzających, 500 konwersji (5,00%). B: 10 000 odwiedzających, 560 konwersji (5,60%). Wzrost względny +12%, p = 0,058.
Nieistotne przy 95%, a przedział sięga od około minus 0,4% do plus 24%. Uczciwy odczyt to "prawdopodobnie mały plus, ale może nic". Najmniejszy wzrost, jaki ten test mógł wykryć, to około 17%, więc efekt 12% zawsze musiał wylądować w szarej strefie. Potrzeba mniej więcej dwa razy więcej ruchu, a nie kolejnego tygodnia nadziei.
A: 5000 odwiedzających, 100 konwersji. B: 4300 odwiedzających, 120 konwersji. Planowany podział 50/50.
B wygląda na wyraźnego zwycięzcę z wynikiem +40%. Kalkulator odmawia takiego werdyktu: podział 5000 do 4300 ma szansę poniżej jednej na milion, by zdarzyć się przypadkiem przy 50/50. Coś usuwa użytkowników z B, zanim zostaną policzeni, często przekierowanie, które nie działa w jednej przeglądarce, albo filtr botów traktujący wariant inaczej. Cokolwiek to jest, obie grupy nie są porównywalne, a wzrost nic nie znaczy.
A: 400 odwiedzających, 12 konwersji (3,0%). B: 400 odwiedzających, 19 konwersji (4,75%). Wzrost względny +58%, p = 0,20.
Wzrost o 58% brzmi ogromnie, a p-value wynosi około 0,19. Przy 12 i 19 konwersjach kalkulator sygnalizuje za mało danych: przy tej skali liczby wahają się tak mocno, że jedna dodatkowa rejestracja przesuwa stopę o ćwierć punktu. Przy takim ruchu najmniejszy wzrost, jaki test mógłby potwierdzić w miesiąc, to ponad 100%. To nie powód, by test trwał dłużej, tylko powód, by zajrzeć do zakładki sprawdzenia realiów.
