Pertanyaan yang perlu diajukan sebelum uji pertama, bukan setelah uji kesepuluh. Masukkan pengunjung bulanan, conversion rate, dan kenaikan yang benar-benar akan kamu tindak lanjuti, lalu dapatkan jawaban lugas: lanjut, sulit, atau berhenti dan lakukan hal lain.
Kebanyakan situs kecil tidak bisa melakukan uji A/B, dan tidak ada yang memberi tahu mereka
Setiap panduan uji A/B ditulis oleh perusahaan dengan jutaan pengunjung. Tim eksperimen Microsoft, Google, Booking.com, dan Airbnb menjalankan ribuan uji per tahun, dan saran mereka tepat untuk mereka: uji semuanya, percayai data, rilis yang menang. Startup dengan 8.000 pengunjung per bulan membaca saran yang sama, membangun dashboard yang sama, lalu tidak mengerti kenapa setiap uji berakhir di kepercayaan 87% dengan kenaikan yang menyusut setiap minggu. Startup itu tidak salah melakukannya. Ia sedang melakukan sesuatu yang tidak bekerja pada ukuran itu.
Halaman ini mengerjakan hitungan yang dilewati panduan-panduan itu. Dengan 8.000 pengunjung per bulan dan konversi 3%, memastikan kenaikan 10% butuh sekitar 106.000 pengunjung: tiga belas bulan dari semua pengunjung yang kamu punya, dengan halaman dibekukan sepanjang waktu itu. Dalam empat minggu, kenaikan terkecil yang bisa kamu pastikan sekitar 40%. Itu bukan masalah penyetelan. Ronny Kohavi, yang memimpin eksperimen di Microsoft dan Airbnb, menyebut batas praktis untuk mendeteksi kenaikan satu digit ada di beberapa ratus ribu pengguna; di bawah itu, menurutnya uji A/B mungkin terlalu dini dan riset pengguna adalah investasi yang lebih baik.
Kami menulis ini dari pengalaman. Dashboard Coddy sendiri menjalankan sekitar dua puluh eksperimen bernama, sepuluh di antaranya uji harga di satu negara, masing-masing pada potongan kecil traffic, dan menampilkan "Keep running" setiap kali kepercayaannya di bawah 95%. Beberapa ditandai berhasil lalu dirilis. Kalau dilihat lagi dengan kalkulator ini, sebagian uji itu sebenarnya tidak mungkin mendeteksi kenaikan yang diklaim. Versi jujur dari dashboard itu adalah halaman ini: apa yang bisa dijawab traffic ini, berapa lama waktunya, dan seberapa sering pemenang ternyata alarm palsu?
Yang menentukan apakah kamu bisa menguji
Konversi per bulan, bukan pengunjung, adalah angka yang membatasimu. Halaman dengan 8.000 pengunjung pada 3% punya 240 konversi per bulan untuk dibagi ke dua kelompok. Uji z butuh ratusan per kelompok sebelum bisa menyimpulkan apa pun.
Kenaikan yang akan kamu tindak lanjuti menentukan biayanya. Jujurlah soal ini: kalau kamu akan merilis perubahan untuk kenaikan 3%, kamu butuh uji yang bisa melihat 3%, dan hampir tidak ada situs kecil yang bisa.
Waktu adalah biaya, bukan solusi. Uji yang butuh tiga bulan membekukan halaman selama tiga bulan, melintasi musim dan kampanye, dan berakhir di bisnis yang sudah berbeda dari saat dimulai.
Seberapa sering idemu berhasil mengubah arti sebuah pemenang. Kalau hanya satu dari sepuluh ide yang benar-benar menggerakkan metrik, maka pada kepercayaan 95% dan power 80%, lebih dari sepertiga pemenang "signifikan" milikmu adalah alarm palsu. Base rate bukan sekadar detail teknis; ia adalah sebagian besar jawabannya.
Di bawah batas itu ada metode yang lebih baik. Bicaralah dengan lima pengguna, tonton rekaman sesi, rilis perubahannya lalu bandingkan sebelum dan sesudah dengan margin error yang lebar, atau uji metrik yang dicapai lebih banyak pengunjung, misalnya klik alih-alih pembelian.
Cara menjalankan cek realitas
1
Masukkan pengunjung bulanan yang akan melihat uji
Bukan seluruh situs. Kalau ujinya di halaman harga, berarti pengunjung halaman harga. Kalau di salah satu langkah checkout, berarti orang yang sampai ke langkah itu.
2
Masukkan conversion rate langkah itu saat ini
Kalkulator menunjukkan jumlah konversi per bulan yang tersirat darinya, dan itulah batasan yang sebenarnya.
3
Sebutkan kenaikan yang akan kamu tindak lanjuti
Kenaikan relatif yang akan membuatmu merilis perubahannya. Kebanyakan orang menyebut 10% dan memang bermaksud begitu; jujurlah kalau angkamu lebih kecil.
4
Baca kesimpulan dan tangganya
Lanjut berarti kurang dari sebulan. Sulit berarti kurang dari tiga bulan, dengan halaman dibekukan sepanjang waktu itu. Berhenti berarti uji tidak bisa menjawab pertanyaannya dengan traffic-mu. Tangga menunjukkan biaya untuk kenaikan yang lebih besar sebagai gantinya.
5
Pilih base rate dan baca risiko positif palsu
Pilih seberapa sering idemu benar-benar berhasil. Kotaknya menunjukkan berapa porsi hasil signifikan yang akan menjadi alarm palsu pada rate itu, dan itulah angka yang perlu kamu ingat saat uji berikutnya berubah hijau.
Bulan untuk memastikan kenaikan 10% pada kepercayaan 95%, power 80%
Dua kelompok, setiap pengunjung masuk ke uji. Baca baris dan kolom milikmu.
Pengunjung bulanan
Baseline 1%
Baseline 3%
Baseline 5%
Baseline 10%
3.000
lebih dari 100 bulan
35 bulan
21 bulan
9,8 bulan
8.000
41 bulan
13 bulan
7,8 bulan
3,7 bulan
25.000
13 bulan
4,3 bulan
2,5 bulan
5 minggu
100.000
3,3 bulan
5 minggu
19 hari
9 hari
500.000
20 hari
6 hari
4 hari
2 hari
Tiga situs, tiga kesimpulan
SaaS tahap awal
8.000 pengunjung per bulan, rate pendaftaran 3%, ingin melihat kenaikan 10%. Kesimpulan: berhenti. Sekitar 13 bulan dan 106.000 pengunjung. Dalam empat minggu, kenaikan terkecil yang bisa dipastikan sekitar 40%.
Dua ratus empat puluh pendaftaran per bulan tidak bisa memastikan selisih 0,3 poin. Waktu tim lebih baik dipakai untuk wawancara lima pengguna dan untuk perubahan yang cukup besar sehingga terlihat tanpa uji: headline baru bukan salah satunya; model harga baru mungkin iya.
Situs konten
50.000 pengunjung per bulan, rate pendaftaran newsletter 2%, ingin kenaikan 10%. Kesimpulan: sulit. Sekitar 3,2 bulan. Dalam empat minggu, kenaikan terkecil yang bisa dipastikan sekitar 19%.
Bisa diuji, tapi hanya untuk perubahan yang berani. Menguji letak formulir boleh kalau itu mungkin menggeser pendaftaran sampai seperlima; menguji teks tombol tidak. Alternatifnya, uji klik menuju formulir, yang dilakukan jauh lebih banyak pengunjung.
Marketplace
400.000 pengunjung per bulan, konversi 4%, ingin kenaikan 10%. Kesimpulan: lanjut. Pengunjungnya datang dalam kurang dari seminggu; tetap jalankan dua minggu penuh.
Inilah ukuran yang menjadi sasaran panduan-panduan uji A/B. Risiko yang tersisa adalah base rate: kalau satu dari lima ide benar-benar berhasil, kira-kira satu dari enam pemenang signifikan tetap alarm palsu, dan tab simulator mengintip menunjukkan seberapa cepat hal itu memburuk dengan pengecekan harian.
Kesalahan menguji dengan traffic kecil
Tetap menjalankan uji lalu membacanya di 85%. Tingkat kepercayaan yang kamu tetapkan adalah janji tentang seberapa sering kamu bersedia tertipu. Membaca di bawahnya setelah kejadian sama saja dengan tidak pernah menetapkannya.
Menguji perubahan kecil. Warna tombol dan pergantian kata menghasilkan kenaikan beberapa persen saja, paling banter, dan situs kecil tidak bisa mendeteksinya. Kalau harus menguji, ujilah sesuatu yang masuk akal bisa menggeser angka sampai sepertiga.
Menguji di dasar funnel. Pembelian itu jarang; klik itu umum. Uji pada klik yang mengarah ke pembelian punya sepuluh kali lebih banyak kejadian dan bisa selesai.
Membiarkan uji berjalan enam bulan. Musim, kampanye, dan perubahan produk semuanya bocor ke dalamnya, dan kedua kelompok akhirnya mengukur era yang berbeda.
Memercayai pemenang karena hasilnya signifikan. Dengan sedikit pemenang nyata di antara ide-idemu, hasil signifikan lebih sering menjadi alarm palsu daripada yang disiratkan p-value. Kotak risiko positif palsu memberinya angka.
Menganggap "tidak signifikan" sebagai "idenya gagal". Dengan traffic kecil, hampir tidak ada yang signifikan. Idenya mungkin baik-baik saja; ujinya yang tidak bisa melihatnya.
FAQ cek realitas
Berapa traffic yang saya butuhkan untuk uji A/B?
Tergantung conversion rate dan kenaikan yang ingin kamu lihat, karena itulah halaman ini menanyakan keduanya. Sebagai patokan kasar, memastikan kenaikan relatif 10% pada conversion rate 3% butuh sekitar 100.000 pengunjung; memastikan kenaikan 30% butuh sekitar 12.000. Situs di bawah 10.000 pengunjung per bulan biasanya hanya bisa mendeteksi efek yang sangat besar.
Apa yang sebaiknya dilakukan situs kecil selain uji A/B?
Bicaralah dengan pengguna, langsung atau lewat panggilan: lima percakapan menemukan sebagian besar masalah di sebuah halaman. Tonton rekaman sesi. Buat perubahan yang berani, rilis, lalu bandingkan beberapa minggu sebelum dan sesudahnya, dengan sadar bahwa perbandingannya kasar. Uji metrik yang dicapai lebih banyak pengunjung. Dan saat traffic-nya sudah datang, kembali ke sini dan lakukan uji dengan benar.
Apa itu risiko positif palsu dan kenapa berbeda dari p-value?
P-value memberi tahu seberapa mengejutkan hasilnya kalau tidak ada yang berubah. Risiko positif palsu memberi tahu, dari semua uji yang hasilnya signifikan, berapa banyak yang sebenarnya tidak didukung apa-apa. Angka itu bergantung pada seberapa sering idemu benar-benar berhasil: pada base rate 10%, kepercayaan 95%, dan power 80%, sekitar 36% pemenang signifikan adalah alarm palsu. Program eksperimen besar melaporkan hanya 10 sampai 33% ide yang menggerakkan metrik mereka, dan itulah sebabnya base rate sangat penting.
Apakah uji 3,5 bulan benar-benar mustahil?
Tidak mustahil, dan kalkulator menyebutnya "sulit", bukan "berhenti", sampai batas tiga bulan. Tapi halaman yang dibekukan selama tiga bulan adalah halaman yang tidak sedang diperbaiki siapa pun, dan uji yang melintasi satu musim atau kampanye membandingkan dua periode yang berbeda. Kalau perubahannya cukup besar untuk membenarkan menunggu tiga bulan, kemungkinan besar perubahan itu juga cukup besar untuk dirilis dan diukur sebelum dan sesudahnya.
Bisakah saya menurunkan kepercayaan ke 90% supaya uji lebih cepat?
Bisa, kalau kamu memutuskannya sebelum uji dan menerima tingkat alarm palsu satu banding sepuluh, di luar efek base rate. Itu memperpendek uji kira-kira sepertiga, bukan sepuluh kali lipat seperti yang dibutuhkan situs kecil. Menaikkan besar kenaikan yang kamu uji jauh lebih membantu.
Kenapa kalkulator ini bilang berhenti padahal kalkulator ukuran sampel memberi angka?
Keduanya memakai rumus yang sama. Halaman ukuran sampel memberi tahu jumlahnya; halaman ini membaginya dengan traffic-mu lalu menilai hasilnya. Jumlah 106.000 pengunjung adalah sebuah angka; tiga belas bulan adalah sebuah kesimpulan.
