A/B Testi Gözetleme Simülatörü

A/B testindeki en pahalı alışkanlık, senin sayılarında simüle edilmiş

Alışkanlık şu. Bir test başlatırsın ve her sabah paneli açarsın. Çubuk yavaşça yükselir, düşer, yine yükselir ve bir salı günü %95'i geçer. Sonucu ilan eder, kazananı yayına alır ve devam edersin. Sorun şu ki p-değeri gezinir. İki varyantın özdeş olduğu bir testte bile p-değeri bazı günler şans eseri 0.05'i geçer; sonra geri döner. İlk geçişte durmak, onu geçerken yakalamak demektir ve sahip olduğunu sandığın güven düzeyi gitmiştir.

Etkinin büyüklüğü insanları şaşırtır. %95 güvende, sonunda bir kez okunan bir test seni yirmide bir kandırır; imzaladığın anlaşma budur. Aynı testi dört hafta boyunca her gün oku ve ilk yeşil günde dur; simülatör tipik olarak hiçbir şeyin değişmediği testlerin dörtte biri veya daha fazlasında sahte bir kazanan gösterir. Evan Miller'ın ilk yazısı bunu günlük gözetleyen için %20'nin üstüne koydu; Optimizely 2015'te istatistik motorunu yeniden kurdu, çünkü müşterilerinin yanlış pozitif oranı bunun üstüne çıkmıştı. Günlük yerine haftalık kontrol etmek hasarı kabaca yarıya indirir ama ortadan kaldırmaz.

Buradaki simülasyon ne olduğu konusunda dürüsttür: her test iki kol için de gerçek oranda dönüşüm çeker, her bakışta o ana kadar toplanan her şey üzerinde sıradan iki oranlı z-testini çalıştırır ve gözetleyenin nerede duracağını kaydeder. Grafikteki her yol bir testtir; her nokta birinin sonuç ilan edeceği bir sabahtır. Hikâyenin diğer yarısını görmek için gerçek artışı +%10'a ayarla: gözetleyen gerçek bir etkiyi erken yakalar ama abartılı bir artışla ve etki sıfır olsaydı da aynı hevesle "kazanmış" olurdu.

Simülasyonun gösterdiği

• p-değeri rastgele bir yürüyüştür. Sıfır hipotezi altında herhangi bir tek bakışta düzgün dağılmıştır; bu da herhangi bir sabah 0.05'in altında oturma ihtimalinin %5 olduğu anlamına gelir. Yirmi sekiz sabah boyunca bu ihtimaller birikir.
• Yanlış pozitif oranı, testin ne kadar sürdüğüne değil, kaç kez baktığına bağlıdır. Haftalık okunan dört haftalık bir test, günlük okunan iki haftalık bir testten daha az kandırılır.
• Erken durmalar artışı abartır. Gözetleyen şanslı bir günde durduğunda, o günkü gözlenen artış tanım gereği alışılmadık biçimde büyüktür. Yayına alındıktan sonra "sönen" kazananlar çoğu zaman buydu.
• Çözüm ya disiplin ya da farklı bir testtir. Disiplin: örneklem büyüklüğünü ve bitiş tarihini önceden sabitle ve bir kez oku. Farklı bir test: Optimizely, Statsig ve Eppo'nun kullandığı her zaman geçerli p-değerleri gibi ardışık yöntemler, örneklem büyüklüğü karşılığında sürekli okunmak üzere kurulmuştur.
• Bayes panelleri bağışık değildir. Her gün kontrol edilen ve bir eşikte harekete geçilen en-iyi-olma olasılığı, aynı sorunu farklı bir kostümle taşır.

Simülatör nasıl kullanılır

1. 1

   Dönüşüm oranını ve günlük ziyaretçilerini gir

   Simülasyon senin gerçek oranında dönüşüm çeker; böylece p-değerinin gezinmesi gerçekten göreceğin gürültüyle eşleşir.

2. 2

   Planlanan süreyi ve ne sıklıkla baktığını ayarla

   Her gün, üç günde bir ya da haftada bir. Gözetleyenin oranı ile dürüst oran arasındaki fark, o alışkanlığın bedelidir.

3. 3

   Gerçek artışı yok'ta bırak

   Bu her testi bir A/A testi yapar: her kazanan yapısı gereği sahte alarmdır. Gözetleyeni gerçek bir etkide görmek için sonra +%10 veya +%30'a geç.

4. 4

   İki büyük sayıyı oku

   Gözetleyenin oranı, günlük kontrol edenin ne sıklıkla kazanan ilan ettiğidir. Bitiş tarihi oranı seçtiğin alfaya yakın olmalı; öyleyse dürüst test vaat ettiğini yapıyordur.

5. 5

   Tekrar çalıştır

   Her çalıştırma yeni rastgele testler çeker. Oranlar biraz oynar; fark oynamaz.

A/A testlerinde tipik yanlış pozitif oranları

%95 güvende, sonunda tek bir dürüst okuma yaklaşık %5 oranında kandırılır. İlk anlamlı bakışta duran bir gözetleyen için simülasyondan ve literatürden kaba rakamlar.

Üç alışkanlık, simüle edilmiş

Gözetleme hataları

• İlk anlamlı sabahta durmak. Bütün sayfa bu. Güven düzeyi yalnızca sonucu bir kez okursan söylediği anlama gelir.
• "Az kalmış" bir testi uzatmak. Sonuç neredeyse anlamlı diye daha uzun çalıştırmaya karar vermek tersine gözetlemedir ve yanlış pozitif oranını aynı şekilde şişirir.
• "Sadece bir şey bozulmadı mı diye" her gün kontrol etmek. Hatalara bakmak iyidir; p-değerine bakmak değildir. Bitiş tarihine kadar artışa değil, trafik dağılımına ve hata oranlarına bak.
• Bir Bayes panelinin gözetlemeyi güvenli kıldığına inanmak. Her gün kontrol ettiğin bir olasılık eşiğinde harekete geçmek aynı şişmeye sahiptir.
• Artışı durduğun günden raporlamak. Erken durmak zorundaysan aralığı raporla ve gerçek artışın nokta tahmininden küçük olmasını bekle.

Gözetleme SSS