Berapa pengunjung yang dibutuhkan setiap varian sebelum uji bisa menyimpulkan apa pun, dan berapa hari itu dengan traffic-mu. Atur kenaikan terkecil yang layak dideteksi, tingkat kepercayaan, dan power, lalu baca jumlahnya beserta rumus di bawahnya.
Terakhir diperbarui
Coddy mengajarimu dengan menulis kode sungguhan di browser: pelajaran interaktif, umpan balik instan, dan bantuan AI saat kamu buntu.
Ukuran sampel adalah janji yang kamu buat pada dirimu sendiri sebelum uji dimulai: "Aku akan melihat hasilnya saat sudah sebanyak ini orang yang melihatnya, dan tidak sebelum itu." Tanpa janji itu, setiap uji A/B berakhir dengan cerita yang sama. Minggu pertama terlihat menjanjikan, minggu kedua kenaikannya menyusut, seseorang bertanya apakah sudah signifikan, dan uji berakhir di hari bar berubah hijau. Halaman ini memberimu angka untuk ditulis di rencana, supaya tanggal selesai menjadi fakta, bukan suasana hati.
Perhitungannya adalah ukuran sampel standar untuk dua proporsi, yang dipakai di balik kalkulator Evan Miller dan Optimizely, dan bergantung pada empat hal: baseline rate, kenaikan yang ingin bisa kamu deteksi, tingkat kepercayaan, dan power. Power adalah yang paling sering dilewati. Pada power 80%, kenaikan nyata sebesar yang kamu sebut tertangkap delapan dari sepuluh kali; uji dengan setengah sampel punya power jauh kurang dari setengahnya, dan itulah sebabnya uji yang kekurangan power bukan "jawaban yang lebih kasar", melainkan biasanya tidak menjawab apa-apa.
Kurva di bawah hasil adalah bagian yang layak diingat. Jumlah pengunjung yang dibutuhkan tumbuh sebanding dengan kuadrat dari satu dibagi kenaikan: kalau kenaikan yang ingin kamu lihat dibagi dua, kamu butuh sekitar empat kali lipat traffic. Situs yang bisa memastikan kenaikan 30% dalam dua minggu butuh sekitar sembilan kali lebih lama untuk memastikan kenaikan 10%. Kalau jumlah harinya keluar dalam hitungan bulan, kalkulator sedang menyuruhmu menguji sesuatu yang lebih besar, atau naik ke bagian funnel yang lebih atas ke metrik yang dicapai lebih banyak orang, sebelum menyuruhmu menunggu.
Pakai rate halaman atau langkah yang akan diubah oleh uji, diukur pada jenis pengunjung yang sama dengan yang akan melihat uji. Jangan pakai rata-rata seluruh situs saat kamu menguji satu langkah funnel.
Tanyakan kenaikan berapa yang akan membuatmu merilis perubahan. Itulah minimum detectable effect-mu. Kenaikan relatif 10% adalah pilihan umum untuk halaman yang sudah matang; desain ulang mungkin pantas memakai 20% atau lebih.
Kepercayaan 95% dan power 80% adalah konvensinya. Naikkan kepercayaan saat pemenang palsu mahal untuk dibatalkan; naikkan power saat pemenang yang terlewat mahal untuk dibiarkan.
Semua varian sekaligus, hanya menghitung pengunjung yang akan sampai ke uji. Hasilnya berubah menjadi hari dan minggu penuh.
Kalkulator memberimu ukuran sampel per varian. Masukkan ke rencana uji beserta tanggal yang tersirat darinya, dan jangan baca hasil sebelum tanggal itu. Tab simulator mengintip menunjukkan alasannya.
Pengunjung per varian pada kepercayaan 95% dan power 80%, dua arah. Kalikan dua untuk uji dengan dua kelompok.
| Baseline rate | Kenaikan +5% | Kenaikan +10% | Kenaikan +20% | Kenaikan +50% |
|---|---|---|---|---|
| 1% | sekitar 637.000 | sekitar 163.000 | sekitar 42.700 | sekitar 7.800 |
| 3% | sekitar 208.000 | sekitar 53.200 | sekitar 13.900 | sekitar 2.500 |
| 5% | sekitar 122.000 | sekitar 31.200 | sekitar 8.200 | sekitar 1.500 |
| 10% | sekitar 57.800 | sekitar 14.800 | sekitar 3.800 | sekitar 690 |
| 20% | sekitar 25.600 | sekitar 6.500 | sekitar 1.700 | sekitar 290 |
Baseline 5%, minimum detectable effect 10% (target 5,5%), kepercayaan 95%, power 80%, dua arah. Hasil: sekitar 31.000 pengunjung per varian, total 62.000.
Dengan 1.000 pengunjung per hari, itu 62 hari, jadi sembilan minggu penuh. Banyak tim akan menganggapnya terlalu lama, lalu menguji perubahan yang lebih berani atau menerima bahwa halaman ini butuh kenaikan 20% atau lebih agar bisa diuji dalam dua minggu.
Baseline 3%, minimum detectable effect 20% (target 3,6%). Hasil: sekitar 13.900 pengunjung per varian.
Baseline yang lebih rendah butuh lebih banyak pengunjung untuk kenaikan relatif yang sama, karena konversi yang bisa dihitung lebih sedikit. Kenaikan relatif 20% di sini hanya 0,6 poin persentase, dan uji harus bisa membedakan 3,0% dari 3,6%.
Baseline 5%, kenaikan 10%, empat varian termasuk kontrol. Alpha per perbandingan menjadi 0,05 / 3, dan sampel per varian bertambah sekitar sepertiga; totalnya empat kali angka per varian.
Menambah varian adalah cara tercepat untuk mengubah uji dua minggu menjadi uji dua bulan. Uji satu ide yang kuat melawan kontrol; jalankan ide berikutnya setelahnya.
Sampai setiap varian mencapai ukuran sampel untuk kenaikan yang ingin kamu deteksi, dan setidaknya satu minggu penuh, sebaiknya dua. Masukkan pengunjung harianmu di atas, dan kalkulator mengubah ukuran sampel menjadi hari dan minggu penuh. Berjalan lebih lama dari yang dibutuhkan hanyalah pemborosan kecil; berhenti lebih awal karena hasilnya terlihat bagus adalah cara kebanyakan pemenang palsu diumumkan.
Kenaikan terkecil yang dirancang untuk bisa ditangkap uji secara andal, dipilih sebelum uji dimulai. Biasanya dinyatakan sebagai perubahan relatif, jadi MDE 10% pada baseline 4% berarti uji bisa membedakan 4,0% dari 4,4%. MDE yang lebih kecil butuh pengunjung jauh lebih banyak: membagi dua MDE kira-kira membuat sampelnya empat kali lipat.
Artinya kalau kenaikan sebenarnya persis sebesar yang kamu sebut, uji sebesar ini akan menghasilkan hasil signifikan 80% dari waktu. Sisanya 20%, uji melewatkan pemenang nyata. Power adalah cerminan dari tingkat kepercayaan: kepercayaan membatasi alarm palsu, power membatasi pemenang yang terlewat.
Karena uji menghitung konversi, bukan pengunjung. Pada rate 1%, 10.000 pengunjung memberimu 100 kejadian untuk dibandingkan; pada 10%, mereka memberimu 1.000. Kenaikan relatif yang sama jauh lebih mudah terlihat di kasus kedua. Inilah sebabnya menguji metrik yang lebih atas di funnel, yang dicapai lebih banyak pengunjung, sering kali satu-satunya cara situs kecil bisa menguji sama sekali.
Bisa, dan kalkulator menghitung ukurannya dengan benar, tapi setiap varian tambahan adalah satu perbandingan lagi melawan kontrol, dan tingkat kepercayaan harus dibagi di antara semuanya. Empat varian pada 95% tanpa koreksi berarti peluang 14% mendapat setidaknya satu pemenang palsu. Kalkulator membagi alpha ke semua perbandingan, dan itulah sebabnya angka per varian bertambah.
