Ketik jumlah pengunjung dan konversi tiap varian. Kamu mendapat kesimpulan dalam satu kalimat, p-value beserta perhitungannya, interval, peluang Bayesian bahwa B lebih baik, cek bahwa pembagian traffic tidak rusak, dan kenaikan terkecil yang mungkin bisa dilihat oleh uji ini.
Yang dijawab kalkulator ini dan tidak dijawab yang lain
Semua kalkulator uji A/B menampilkan p-value. Kebanyakan berhenti di situ, dan begitulah para founder akhirnya menatap angka kepercayaan 87% sambil bertanya-tanya apa artinya. Kalkulator ini menjawab pertanyaan yang benar-benar menentukan langkahmu berikutnya. Apakah selisihnya lebih besar daripada yang bisa dihasilkan kebetulan? Seberapa besar kenaikan sebenarnya, paling buruk dan paling baik? Kalau hasilnya "tidak signifikan", apakah uji ini memang mungkin menemukan sesuatu dengan ukuran sampel sebesar ini? Dan apakah pembagian traffic-nya sendiri sehat, atau kamu sedang membandingkan dua kelompok yang sejak awal tidak setara?
Kalkulator ini menjalankan uji z dua proporsi standar, uji yang sama yang dipakai mesin klasik Optimizely, mode frequentist VWO, dan semua buku teks statistik, lalu menunjukkan setiap baris perhitungannya: rate gabungan, standard error, skor z, dan luas ekor. Di sebelahnya ada jawaban Bayesian, yaitu peluang bahwa rate sebenarnya B lebih tinggi daripada A, karena "ada peluang 91% B lebih baik" adalah kalimat yang diharapkan kebanyakan orang dari p-value, padahal itu angka yang berbeda.
Kami membuatnya setelah melihat dashboard kami sendiri. Coddy sudah menjalankan sekitar dua puluh eksperimen bernama, sepuluh di antaranya uji harga per negara pada potongan kecil traffic, dan alat internal kami menampilkan bar kepercayaan dengan tulisan "Keep running" di bawah 95%. Itu namanya optional stopping dengan wajah ramah. Tiga tab di sebelahnya, ukuran sampel, cek realitas, dan simulator mengintip, ada karena kalkulator yang hanya melaporkan signifikansi adalah kalkulator yang membantumu menipu diri sendiri lebih cepat.
Yang perlu kamu tahu sebelum memercayai angkanya
"Tidak signifikan" tidak berarti "tidak ada perbedaan". Artinya data belum bisa memastikan. Kotak yang menyebut kenaikan terkecil yang bisa dilihat uji ini adalah bacaan yang jujur: kalau kenaikan yang kamu amati lebih kecil dari angka itu, uji ini memang tidak akan pernah bisa menjawab.
P-value bukan peluang kamu salah. P-value adalah peluang melihat selisih sebesar ini kalau kedua varian sebenarnya sama persis. Seberapa mungkin pemenangnya nyata juga bergantung pada seberapa sering idemu berhasil, dan tab cek realitas mengubahnya menjadi angka.
Berhenti di hari pertama bar berubah hijau adalah kebiasaan paling mahal dalam uji A/B. Mengecek setiap hari lalu berhenti lebih awal mengubah tingkat positif palsu 5% menjadi 20% atau lebih. Simulator mengintip menunjukkan hal itu terjadi pada traffic-mu sendiri.
Pembagian traffic yang rusak meracuni semuanya. Kalau kamu merencanakan 50/50 tapi mendapat 46/54, ada sesuatu yang mengarahkan pengguna sebelum mereka masuk ke uji: lapisan cache, filter bot, atau redirect. Kalkulator ini menjalankan cek itu lebih dulu dan menolak memberi kesimpulan selama cek itu gagal.
Di bawah sekitar 25 konversi per kelompok, pendekatan normal di balik uji z hanyalah sketsa, bukan pengukuran. Kalkulator ini mengatakannya terus terang, alih-alih menampilkan tiga angka desimal yang presisinya palsu.
Cara memakai kalkulator uji A/B
1
Masukkan pengunjung dan konversi untuk A dan B
Pengunjung adalah orang yang dimasukkan ke varian itu, bukan jumlah tayangan halaman. Konversi adalah mereka yang melakukan hal yang kamu ukur: mendaftar, membayar, atau mengklik. Keduanya harus dihitung dengan cara yang sama di kedua kelompok.
2
Pilih tingkat kepercayaan dan hipotesisnya
95% dua arah adalah pilihan default dan pilihan yang jujur ketika B bisa lebih baik atau lebih buruk. Satu arah hanya untuk kasus ketika B yang lebih buruk akan diabaikan persis sama seperti tidak ada perubahan, dan itu lebih jarang dari yang orang kira.
3
Baca kesimpulannya, lalu intervalnya
Banner menyebut apa yang didukung oleh angka-angkanya. Kotak kenaikan relatif menunjukkan intervalnya: efek sebenarnya mungkin berada di mana saja di dalamnya, dan batas bawahnya adalah angka untuk perencanaan, bukan estimasi titiknya.
4
Periksa dua peringatannya
Kalau pembagian traffic ditandai, perbaiki ujinya sebelum membaca hal lain. Kalau kenaikan terkecil yang bisa dideteksi lebih besar dari kenaikan yang kamu amati, berarti power uji ini kurang: buka tab ukuran sampel dan lihat berapa pengunjung yang dibutuhkan.
5
Salin hasilnya atau tautannya
Salin hasil memberimu ringkasan untuk pesan atau dokumen. Salin tautan memasukkan keempat angka ke URL, jadi siapa pun yang membukanya melihat perhitungan yang sama.
Membaca hasilnya
Arti setiap kotak, dalam satu baris.
Kotak
Apa itu
Cara membacanya
Kenaikan relatif
(rate B dikurangi rate A) dibagi rate A
Angka utamanya. Interval di sebelahnya adalah rentang tempat kenaikan sebenarnya kemungkinan berada.
p-value
Peluang selisih sebesar ini muncul kalau A dan B sama persis
Di bawah 0,05 pada kepercayaan 95% berarti signifikan. Ini bukan peluang hasilnya salah.
Kepercayaan
1 dikurangi p, dalam persen
Angka yang ditampilkan kebanyakan alat. 87% bukan hampir 95%; itu koin yang jatuh di sisi garis yang salah.
Peluang B lebih baik
Probabilitas Bayesian bahwa rate sebenarnya B di atas A
Kalimat yang diinginkan orang. 91% berarti B kemungkinan lebih baik, bukan 91% lebih baik.
Kenaikan terkecil yang bisa dilihat uji ini
Kenaikan relatif yang bisa dideteksi pada power 80% dengan ukuran kelompok ini
Kalau kenaikan yang kamu amati di bawahnya, "tidak signifikan" berarti "tidak bisa dipastikan".
Pembagian traffic
Porsi pengunjung yang teramati di tiap kelompok dibandingkan rencana
Ditandai ketika pembagiannya meleset lebih jauh dari yang mungkin karena kebetulan. Perbaiki ujinya sebelum membaca hasil.
Tidak signifikan pada 95%, dan intervalnya berkisar dari sekitar minus 0,4% sampai plus 24%. Bacaan yang jujur adalah "mungkin positif kecil, bisa juga tidak ada apa-apa". Kenaikan terkecil yang bisa dideteksi uji ini sekitar 17%, jadi efek 12% memang pasti jatuh di zona abu-abu. Yang dibutuhkan adalah kira-kira dua kali lipat traffic, bukan seminggu lagi berharap.
B terlihat sebagai pemenang jelas dengan +40%. Kalkulator menolak menyatakannya: pembagian 5.000 banding 4.300 punya peluang kurang dari satu banding sejuta untuk terjadi secara kebetulan pada 50/50. Ada sesuatu yang membuang pengguna dari B sebelum mereka terhitung, sering kali redirect yang gagal di satu browser, atau filter bot yang memperlakukan varian secara berbeda. Apa pun penyebabnya, kedua kelompok tidak bisa dibandingkan dan kenaikannya tidak berarti.
Kenaikan 58% terdengar sangat besar, dan p-value-nya sekitar 0,19. Dengan 12 dan 19 konversi, kalkulator menandai data yang terlalu sedikit: pada ukuran ini angkanya berayun begitu jauh sampai satu pendaftaran tambahan menggeser rate sebesar seperempat poin. Dengan traffic sebesar ini, kenaikan terkecil yang bisa dipastikan uji dalam sebulan lebih dari 100%. Itu bukan alasan untuk menjalankannya lebih lama; itu alasan untuk membaca tab cek realitas.
Kesalahan yang memang ditangkap kalkulator ini
Membaca kepercayaan 90% sebagai "kemungkinan aman". Pada 95%, garisnya ada di 95%. Angka di bawahnya berarti data tidak melewati batas yang kamu tetapkan, dan menggeser batas setelah melihat hasil adalah kesalahannya, bukan angkanya.
Menyebut uji yang tidak signifikan sebagai seri. Seri adalah interval kecil di sekitar nol. Uji tidak signifikan dengan interval lebar adalah pertanyaan yang belum terjawab, dan tab ukuran sampel menyebut berapa biaya untuk menjawabnya.
Mengumumkan pemenang di pagi pertama bar berubah hijau. Simulator mengintip menjalankan dua ribu uji ketika tidak ada yang berubah dan menunjukkan berapa banyak yang akan dirilis oleh orang yang mengintip setiap hari.
Menguji lima varian lalu melaporkan yang terbaik pada 95%. Lima perbandingan masing-masing 5% berarti peluang 23% mendapat pemenang palsu. Tab ukuran sampel membagi alpha untukmu saat kamu menambah varian.
Membandingkan tayangan halaman dengan pengguna unik, atau menghitung konversi dalam rentang waktu yang berbeda dari pengunjung. Uji z menganggap setiap pengunjung adalah satu percobaan independen; cara lain membuat kepercayaan terlihat lebih tinggi dari seharusnya.
Mengabaikan pembagian traffic. Pembagian 48/52 pada 100.000 pengunjung bukan kebetulan; itu bug, dan setiap hasil yang berasal darinya tidak bisa dipercaya.
FAQ kalkulator uji A/B
Bagaimana cara tahu uji A/B saya signifikan secara statistik?
Masukkan pengunjung dan konversi tiap varian, pilih tingkat kepercayaan (95% adalah standar), lalu baca kesimpulannya. Uji signifikan ketika p-value di bawah 1 dikurangi tingkat kepercayaanmu, jadi di bawah 0,05 pada 95%. Halaman ini juga memberi tahu interval kenaikan sebenarnya dan apakah uji ini bisa mendeteksi efek yang sedang kamu lihat, sesuatu yang tidak bisa dilakukan p-value saja.
Apa arti p-value 0,08 untuk uji saya?
Artinya kalau A dan B sebenarnya berkonversi pada rate yang sama, selisih setidaknya sebesar ini akan muncul sekitar 8% dari waktu secara kebetulan. Itu bukan peluang hasilnya salah, dan bukan "92% yakin B lebih baik". Pada kepercayaan 95%, artinya uji ini belum melewati batas; lihat kotak kenaikan terkecil yang bisa dideteksi untuk tahu apakah uji ini memang pernah bisa melewatinya.
Apakah kepercayaan 90% sudah cukup?
Bisa saja, kalau kamu memutuskan 90% sebelum uji dimulai dan kamu menerima tingkat positif palsu satu banding sepuluh. Yang tidak pernah cukup adalah menjalankan uji pada 95%, melihat 91%, lalu memutuskan bahwa 90% adalah ambang yang sebenarnya sejak awal. Tingkat kepercayaan adalah janji tentang seberapa sering kamu bersedia tertipu; mengubahnya setelah melihat hasil berarti melanggar janji itu.
Berapa konversi yang saya butuhkan per varian?
Tidak ada angka ajaib, tapi di bawah sekitar 25 konversi per kelompok, uji z hanyalah sketsa kasar, dan kebanyakan uji nyata butuh ratusan. Angka yang penting adalah kenaikan yang ingin kamu deteksi: dengan baseline 5%, melihat kenaikan relatif 10% pada kepercayaan 95% dan power 80% butuh sekitar 31.000 pengunjung per varian, kira-kira 1.550 konversi masing-masing. Tab ukuran sampel menghitungnya untuk rate milikmu.
Apa bedanya p-value frequentist dengan peluang Bayesian bahwa B lebih baik?
P-value bertanya "seberapa mengejutkan selisih ini kalau tidak ada yang berubah?" dan memberi jawaban ya atau tidak pada sebuah ambang. Angka Bayesian bertanya "dengan apa yang saya lihat, seberapa mungkin rate sebenarnya B di atas A?" dan memberi sebuah probabilitas. Pada data yang sama, arahnya biasanya sejalan: p 0,05 setara dengan sekitar 97% peluang B lebih baik pada uji dua arah. Halaman ini menampilkan keduanya karena kalimat Bayesian adalah yang dimaksud orang saat mereka bilang "kepercayaan", sedangkan p-value adalah angka yang ditampilkan alat mereka.
Kenapa kalkulator menolak memberi kesimpulan saat pembagian traffic meleset?
Karena sample ratio mismatch berarti kedua kelompok tidak dibagi secara acak, padahal pengacakan adalah alasan utama uji A/B bisa bekerja. Kalau kamu merencanakan 50/50 dan pembagian yang teramati punya peluang kurang dari satu banding seribu untuk muncul karena keberuntungan, ada mekanisme yang menentukan siapa masuk ke kelompok mana, dan mekanisme itu bisa saja berkaitan dengan konversi. Kenaikan yang kamu lihat mungkin berasal dari mekanisme itu, bukan dari perubahanmu.
Bisakah kalkulator ini dipakai untuk pendapatan per pengunjung atau rata-rata nilai pesanan?
Tidak. Halaman ini menguji proporsi: setiap pengunjung berkonversi atau tidak. Pendapatan per pengunjung adalah metrik kontinu yang sangat miring, dan butuh uji t atau bootstrap pada nilai per pengguna, yang memerlukan data mentah, bukan empat angka total. Kalkulator uji t di kalkulator matematika Coddy bisa membandingkan rata-rata begitu kamu punya nilai per pengguna.
Dari mana angka kenaikan terkecil yang bisa dideteksi berasal?
Dari rumus yang sama dengan kalkulator ukuran sampel, dijalankan terbalik. Dengan ukuran kelompokmu dan rate A, kalkulator mencari kenaikan relatif yang akan tertangkap oleh 80% uji berukuran sama pada tingkat kepercayaanmu. Kalau kenaikan yang kamu amati di bawahnya, power ujimu kurang untuk efek itu, dan "tidak signifikan" hampir tidak memberi informasi apa pun tentang apakah perubahannya berhasil.
