Dua ribu uji di mana A dan B adalah halaman yang sama, dijalankan pada traffic-mu. Lihat berapa banyak yang akan dinyatakan menang oleh orang yang mengintip setiap hari, dan berapa banyak dari uji yang sama yang menipu orang yang menunggu tanggal selesai.
Terakhir diperbarui
Coddy mengajarimu dengan menulis kode sungguhan di browser: pelajaran interaktif, umpan balik instan, dan bantuan AI saat kamu buntu.
Begini kebiasaannya. Kamu memulai sebuah uji, dan setiap pagi kamu membuka dashboard. Bar-nya merayap naik, turun sedikit, naik lagi, lalu suatu Selasa melewati 95%. Kamu mengumumkannya, merilis pemenangnya, lalu lanjut. Masalahnya, p-value itu berkelana. Pada uji yang kedua variannya identik, p-value tetap melewati 0,05 di beberapa hari karena kebetulan; nanti ia kembali naik. Berhenti di persilangan pertama berarti kamu menangkapnya saat sedang lewat, dan tingkat kepercayaan yang kamu kira kamu punya pun hilang.
Besarnya efek ini mengejutkan banyak orang. Pada kepercayaan 95%, uji yang dibaca sekali di akhir menipumu kira-kira satu dari dua puluh kali, dan itulah kesepakatan yang kamu tanda tangani. Baca uji yang sama setiap hari selama empat minggu lalu berhenti di hari hijau pertama, dan simulator biasanya menunjukkan pemenang palsu di seperempat atau lebih uji yang tidak mengubah apa pun. Tulisan asli Evan Miller menyebut angkanya lebih dari 20% untuk orang yang mengintip setiap hari; Optimizely membangun ulang mesin statistiknya pada 2015 karena tingkat positif palsu pelanggannya sudah melewati angka itu. Mengecek seminggu sekali alih-alih setiap hari kira-kira memangkas kerusakannya setengah, tapi tidak menghilangkannya.
Simulasi di sini jujur tentang apa dirinya: setiap uji menarik konversi pada rate sebenarnya untuk kedua kelompok, menjalankan uji z dua proporsi biasa di setiap pengecekan pada semua data yang terkumpul sejauh ini, lalu mencatat di mana orang yang mengintip akan berhenti. Setiap jalur di grafik adalah satu uji; setiap titik adalah satu pagi ketika seseorang akan mengumumkan hasil. Atur kenaikan sebenarnya ke +10% untuk melihat separuh cerita lainnya, ketika orang yang mengintip menangkap efek nyata lebih awal tapi dengan kenaikan yang dilebih-lebihkan, dan akan "menang" sama bersemangatnya seandainya efeknya nol.
Simulasi menarik konversi pada rate nyatamu, jadi naik turunnya p-value sesuai dengan noise yang benar-benar akan kamu lihat.
Setiap hari, setiap tiga hari, atau seminggu sekali. Selisih antara rate orang yang mengintip dan rate yang jujur adalah harga dari kebiasaan itu.
Dengan begitu setiap uji menjadi uji A/A: pemenang apa pun pasti alarm palsu. Setelah itu ganti ke +10% atau +30% untuk melihat orang yang mengintip menghadapi efek nyata.
Rate orang yang mengintip adalah seberapa sering pengecek harian mengumumkan pemenang. Rate tanggal selesai seharusnya dekat dengan alpha yang kamu pilih; kalau iya, uji yang jujur melakukan apa yang dijanjikannya.
Setiap putaran menarik uji acak baru. Rate-nya bergeser sedikit; selisihnya tidak.
Pada kepercayaan 95%, satu kali pembacaan jujur di akhir tertipu sekitar 5% dari waktu. Angka kasar dari simulasi dan literatur untuk orang yang mengintip dan berhenti di pengecekan signifikan pertama.
| Seberapa sering kamu mengecek | Pengecekan dalam 4 minggu | Pemenang palsu |
|---|---|---|
| Sekali, di akhir | 1 | sekitar 5% |
| Seminggu sekali | 4 | sekitar 10 sampai 13% |
| Setiap 3 hari | 9 sampai 10 | sekitar 15 sampai 20% |
| Setiap hari | 28 | sekitar 25 sampai 30% |
| Setiap hari selama 12 minggu | 84 | lebih dari 35% |
Konversi 5%, 1.000 pengunjung per hari, 28 hari, dicek setiap pagi. Di putaran kami: orang yang mengintip mengumumkan pemenang di sekitar 28% dari 2.000 uji A/A; dengan membaca sekali di akhir, 4,5%.
Enam kali lipat tingkat alarm palsu, untuk uji yang terasa hati-hati karena ada orang yang memantaunya setiap hari. Separuh "pemenang" itu memenangkan B dan separuhnya memenangkan A, karena memang tidak ada yang bisa ditemukan.
Traffic sama, durasi sama, dicek seminggu sekali. Di putaran kami: sekitar 12% untuk orang yang mengintip, dibandingkan 5% di akhir.
Mengecek empat kali alih-alih dua puluh delapan kali sangat membantu, tapi tetap membuat rate yang dijanjikan lebih dari dua kali lipat. Tidak ada jumlah pengecekan selain satu yang menepati janji itu.
Atur kenaikan sebenarnya B ke +10% pada traffic yang sama. Uji jujur selama 28 hari punya power terbatas untuk kenaikan sekecil itu pada traffic ini; orang yang mengintip lebih sering berhenti lebih awal, di hari-hari keberuntungan.
Inilah kasus yang menggoda: orang yang mengintip tampaknya menemukan hasil lebih cepat. Tapi hari-hari ia berhenti adalah hari ketika kenaikan terlihat paling besar, jadi estimasi yang dirilis membengkak, dan kebiasaan yang sama akan menemukan "pemenang" walau kenaikannya diatur ke nol.
Membaca uji dengan horizon tetap berulang kali lalu berhenti saat pertama kali hasilnya tampak signifikan. Karena p-value naik turun selama data masuk, setiap pengecekan adalah kesempatan baru untuk melewati ambang karena keberuntungan. Uji yang dibaca setiap hari selama sebulan pada kepercayaan 95% menghasilkan pemenang palsu kira-kira seperempat dari waktu ketika tidak ada yang berubah, bukan 5% seperti yang dijanjikan tingkat kepercayaannya.
Melihat itu boleh; bertindak adalah masalahnya. Cek bahwa traffic terbagi merata, kedua varian termuat, dan konversi tercatat. Jangan baca kenaikan atau tingkat kepercayaannya, dan jangan biarkan apa yang kamu lihat mengubah tanggal selesai ke arah mana pun.
Pakai metode sekuensial. Always-valid p-value, desain group sequential, dan sejenisnya memang dibuat untuk dibaca kapan saja; bayarannya adalah ukuran sampel yang lebih besar untuk power yang sama. Kebanyakan platform modern menyediakannya. Simulator ini memodelkan uji horizon tetap klasik karena itulah yang dipakai sebagian besar perhitungan spreadsheet dan dashboard, termasuk tab lain di situs ini.
Lebih kecil, tapi ya. Empat pengecekan selama empat minggu pada 95% biasanya menggandakan tingkat positif palsu. Satu-satunya jumlah pengecekan yang menjaga rate yang dijanjikan adalah satu.
Karena dengan kelompok yang identik, setiap pemenang pasti alarm palsu, jadi rate yang dilaporkan simulator persis sama dengan tingkat positif palsu dari kebiasaan yang disimulasikan. Menyalakan kenaikan nyata menunjukkan sisi lainnya, ketika orang yang mengintip berhenti lebih awal di hari keberuntungan dan melaporkan efek yang membengkak.
Tidak dengan sendirinya. Probabilitas Bayesian yang dibaca terus-menerus dan ditindaklanjuti pada ambang tetap juga menggelembungkan keputusan yang salah dengan cara yang sama, seperti yang ditunjukkan Georgi Georgiev dan lainnya. Metode Bayesian dengan aturan keputusan dan prior yang tepat bisa berperilaku baik saat dipantau terus-menerus, tapi label "Bayesian" saja bukan solusinya.
