Türkçe
Her varyantın ziyaretçi ve dönüşüm sayılarını yaz. Tek cümlelik bir karar, çözümüyle birlikte p-değeri, aralık, B'nin daha iyi olma Bayes olasılığı, trafik dağılımının bozuk olmadığını doğrulayan bir kontrol ve bu testin görebileceği en küçük artışı alırsın.
Son güncelleme
Coddy, tarayıcında gerçek kod yazarak öğretir: etkileşimli dersler, anında geri bildirim ve takıldığında yapay zekâ desteği.
Her A/B test hesaplayıcı bir p-değeri yazdırır. Çoğu orada durur ve kurucular böyle %87 güvene bakıp ne anlama geldiğini merak eder hâlde kalır. Bu hesaplayıcı, sonraki adımını gerçekten belirleyen sorulara cevap verir. Fark, şansın üreteceğinden büyük mü? Gerçek artış en kötü ve en iyi ihtimalle ne kadar olabilir? Test "anlamlı değil" çıktıysa, bu örneklem büyüklüğünde herhangi bir şey bulabilir miydi? Ve trafik dağılımının kendisi sağlıklı mı, yoksa hiçbir zaman eşit olmamış iki grubu mu karşılaştırıyorsun?
Standart iki oranlı z-testini çalıştırır; Optimizely'nin klasik motorunun, VWO'nun frekansçı modunun ve her istatistik ders kitabının kullandığı aynı test; ve aritmetiğin her satırını gösterir: birleştirilmiş oran, standart hata, z-skoru ve kuyruk alanı. Yanında Bayes cevabı durur, B'nin gerçek oranının A'nınkinin üstünde olma olasılığı; çünkü "B'nin daha iyi olma ihtimali %91" çoğu insanın p-değerinden duymayı umduğu cümledir ve farklı bir sayıdır.
Bunu kendi panelimize baktıktan sonra yaptık. Coddy yaklaşık yirmi adlandırılmış deney yürüttü, onu küçük trafik dilimlerinde ülke bazlı fiyat testiydi ve iç aracımız %95'in altında "Çalıştırmaya devam et" yazan bir güven çubuğu gösteriyordu. Bu, güler yüzlü bir isteğe bağlı durdurma. Bunun yanındaki üç sekme, örneklem büyüklüğü, gerçeklik testi ve gözetleme simülatörü, şunun için var: yalnızca anlamlılık raporlayan bir hesaplayıcı, kendini daha hızlı kandırmana yardım eden bir hesaplayıcıdır.
Ziyaretçiler, o varyanta atanan kişilerdir, sayfa görüntülemeleri değil. Dönüşümler, ölçtüğün şeyi yapanlardır: kaydolan, ödeyen, tıklayan. İkisi de her iki kol için aynı şekilde sayılmalı.
%95 çift yönlü varsayılandır ve B daha iyi ya da daha kötü olabilecekken dürüst seçimdir. Tek yönlü, yalnızca daha kötü bir B'nin değişiklik yokmuş gibi tamamen aynı şekilde göz ardı edileceği durumlar içindir; bu, insanların sandığından daha nadirdir.
Şerit, sayıların neyi desteklediğini söyler. Göreli artış kutusu aralığı gösterir: gerçek etki muhtemelen onun içinde herhangi bir yerde oturur ve planlama yapılacak sayı nokta tahmini değil, alt uçtur.
Dağılım işaretlendiyse, başka bir şey okumadan önce testi düzelt. En küçük saptanabilir artış gözlediğin artıştan büyükse, testin gücü yetersizdi: örneklem büyüklüğü sekmesine git ve kaç ziyaretçi gerekeceğine bak.
Sonucu kopyala, bir mesaj veya belge için özeti verir. Bağlantıyı kopyala, dört sayıyı URL'ye koyar; böylece kim açarsa aynı hesaplamayı görür.
Her kutunun anlamı, tek satırda.
| Kutu | Ne olduğu | Nasıl okunacağı |
|---|---|---|
| Göreli artış | (B oranı eksi A oranı) bölü A oranı | Manşet. Yanındaki aralık, gerçek artışın muhtemelen oturduğu bölgedir. |
| p-değeri | A ve B özdeş olsaydı bu kadar büyük bir fark görme ihtimali | %95 güvende 0.05'in altı anlamlı demektir. Sonucun yanlış olma ihtimali değildir. |
| Güven | 1 eksi p, yüzde olarak | Çoğu aracın yazdırdığı sayı. %87, neredeyse %95 değildir; çizginin yanlış tarafında kalmış bir yazı turadır. |
| B'nin daha iyi olma ihtimali | B'nin gerçek oranının A'nınkinin üstünde olma Bayes olasılığı | İnsanların istediği cümle. %91, B'nin muhtemelen daha iyi olduğu demektir, %91 daha iyi olduğu değil. |
| Bu testin görebileceği en küçük artış | Bu kol büyüklükleriyle %80 güçte saptanabilen göreli artış | Gözlediğin artış bunun altındaysa, "anlamlı değil", "söyleyemedi" demektir. |
| Trafik dağılımı | Her koldaki gözlenen ziyaretçi payı, plana karşı | Dağılım şansın izin verdiğinden fazla saptığında işaretlenir. Sonuçları okumadan önce testi düzelt. |
A: 10,000 ziyaretçi, 500 dönüşüm (%5.00). B: 10,000 ziyaretçi, 560 dönüşüm (%5.60). Göreli artış +%12, p = 0.058.
%95'te anlamlı değil ve aralık yaklaşık eksi %0.4'ten artı %24'e uzanıyor. Dürüst okuma "muhtemelen küçük bir pozitif, hiçbir şey de olabilir". Bu testin saptayabileceği en küçük artış yaklaşık %17, yani %12'lik bir etki her zaman gri bölgeye düşecekti. Bir hafta daha umut etmek değil, kabaca iki kat trafik gerekiyor.
A: 5,000 ziyaretçi, 100 dönüşüm. B: 4,300 ziyaretçi, 120 dönüşüm. Planlanan dağılım 50/50.
B, +%40 ile net bir kazanan gibi görünüyor. Hesaplayıcı bunu söylemeyi reddeder: 50/50'de 5,000'e 4,300'lük bir dağılımın kazara oluşma ihtimali milyonda birin altındadır. Bir şey, kullanıcıları sayılmadan önce B'den çıkarıyor; çoğu zaman bir tarayıcıda başarısız olan bir yönlendirme ya da varyanta farklı davranan bir bot filtresi. Ne olursa olsun, iki grup karşılaştırılabilir değil ve artış anlamsız.
A: 400 ziyaretçi, 12 dönüşüm (%3.0). B: 400 ziyaretçi, 19 dönüşüm (%4.75). Göreli artış +%58, p = 0.20.
%58'lik bir artış devasa geliyor ve p-değeri yaklaşık 0.19. 12 ve 19 dönüşümle hesaplayıcı düşük veri uyarısı verir: bu büyüklükte sayılar o kadar oynar ki fazladan tek bir kayıt oranı çeyrek puan kaydırır. Bu trafikte testin bir ayda doğrulayabileceği en küçük artış %100'ün üstündedir. Bu, daha uzun çalıştırmak için bir sebep değil; gerçeklik testi sekmesini okumak için bir sebep.
