A/B Testi Yapabilir miyim? Trafik Gerçeklik Testi

Küçük sitelerin çoğu A/B testi yapamaz ve bunu kimse onlara söylemez

Her A/B testi rehberi, milyonlarca ziyaretçisi olan bir şirket tarafından yazılmıştır. Microsoft'un deney ekibi, Google, Booking.com ve Airbnb yılda binlerce test çalıştırır ve tavsiyeleri onlar için doğrudur: her şeyi test et, veriye güven, kazananı yayına al. Ayda 8,000 ziyaretçisi olan bir startup aynı tavsiyeyi okur, aynı paneli kurar ve sonra her testin neden her hafta küçülen bir artışla %87 güvende bittiğini anlayamaz. Yanlış yapmıyordur. O büyüklükte işe yaramayan bir şey yapıyordur.

Bu sayfa rehberlerin atladığı aritmetiği yapar. Ayda 8,000 ziyaretçi %3 dönüşümle, %10'luk bir artışı doğrulamak yaklaşık 106,000 ziyaretçi ister: sahip olduğun her ziyaretçiyle on üç ay, sayfa bu süre boyunca dondurulmuş hâlde. Dört haftada doğrulayabileceğin en küçük artış yaklaşık %40. Bunlar ayar sorunları değil. Microsoft ve Airbnb'de deneyleri yöneten Ronny Kohavi, tek haneli artışları saptamanın pratik tabanını birkaç yüz bin kullanıcıya koyar; bunun altında A/B testinin erken olabileceğini ve kullanıcı araştırmasının daha iyi bir harcama olduğunu söyler.

Bunu deneyimden yazıyoruz. Coddy'nin kendi paneli yaklaşık yirmi adlandırılmış deney yürüttü, onu tek ülkelerde fiyat testiydi, her biri küçük bir trafik diliminde ve güven %95'in altında kaldığında "Çalıştırmaya devam et" raporladı. Birkaçı başarılı işaretlendi ve yayına alındı. Bu hesaplayıcıyla geriye bakınca, o testlerden bazıları kendilerine atfedilen artışları saptayamazdı. O panelin dürüst hâli bu sayfadır: bu trafik neye cevap verebilir, ne kadar sürer ve bir kazanan ne sıklıkla sahte alarm olurdu?

Test yapıp yapamayacağını ne belirler

• Seni sınırlayan sayı ziyaretçiler değil, aylık dönüşümlerdir. %3'te 8,000 ziyaretçili bir sayfanın iki kola bölünecek ayda 240 dönüşümü vardır. z-testi bir şey söylemeden önce kol başına yüzlercesine ihtiyaç duyar.
• Harekete geçeceğin artış faturayı belirler. Bu konuda dürüst ol: %3'lük bir artış için bir değişikliği yayına alacaksan, %3'ü görebilen bir teste ihtiyacın var ve neredeyse hiçbir küçük site bunu yapamaz.
• Zaman bir çözüm değil, bir maliyettir. Bir çeyrek süren bir test sayfayı bir çeyrek dondurur, sezonlara ve kampanyalara yayılır ve başladığından farklı bir işte biter.
• Fikirlerinin ne sıklıkla işe yaradığı, bir kazananın anlamını değiştirir. On fikirden biri ölçütü gerçekten oynatıyorsa, %95 güven ve %80 güçte "anlamlı" kazananlarının üçte birinden fazlası sahte alarmdır. Taban oran bir teknik ayrıntı değildir; cevabın büyük kısmıdır.
• Çizginin altında daha iyi yöntemler var. Beş kullanıcıyla konuş, oturum kayıtlarını izle, değişikliği yayına al ve öncesi ile sonrasını geniş hata çubuklarıyla karşılaştır ya da daha çok ziyaretçinin ulaştığı bir ölçütte test et, satın alma yerine tıklama gibi.

Gerçeklik testi nasıl yapılır

1. 1

   Testi görecek aylık ziyaretçileri gir

   Bütün siteyi değil. Test fiyatlandırma sayfasındaysa, fiyatlandırma sayfasının ziyaretçileridir. Bir ödeme adımıysa, o adıma ulaşan kişilerdir.

2. 2

   O adımın mevcut dönüşüm oranını gir

   Hesaplayıcı bunun ima ettiği aylık dönüşümü gösterir; gerçek kısıt odur.

3. 3

   Harekete geçeceğin artışı söyle

   Değişikliği yayına aldıracak göreli artış. Çoğu insan %10 der ve bunu kasteder; seninki daha küçükse dürüst ol.

4. 4

   Kararı ve merdiveni oku

   Başla, bir ayın altı demektir. Zorla, bir çeyreğin altı demektir, sayfa bu süre boyunca dondurulmuş hâlde. Dur, testin senin trafiğinde soruya cevap veremeyeceği demektir. Merdiven, daha büyük artışların bunun yerine neye mal olacağını gösterir.

5. 5

   Bir taban oran seç ve yanlış pozitif riskini oku

   Fikirlerinin gerçekten ne sıklıkla işe yaradığını seç. Kutu, o oranda anlamlı sonuçların ne kadarının sahte alarm olacağını gösterir; bir test bir dahaki sefere yeşil çıktığında hatırlanacak sayı budur.

%95 güven, %80 güçte %10'luk bir artışı doğrulamak için gereken ay

İki kol, her ziyaretçi teste giriyor. Satırını ve sütununu oku.

Üç site, üç karar

Düşük trafikli test hataları

• Testi yine de çalıştırıp %85'te okumak. Belirlediğin güven düzeyi, ne sıklıkla kandırılmayı kabul ettiğine dair bir sözdür. Sonradan onun altında okumak, hiç belirlememiş olmakla aynıdır.
• Küçücük değişiklikleri test etmek. Buton renkleri ve kelime değişimleri en iyi ihtimalle yüzde birkaçlık artış üretir; küçük siteler bunu saptayamaz. Test etmen gerekiyorsa, sayıyı makul biçimde üçte bir oynatabilecek bir şeyi test et.
• Huninin dibinde test etmek. Satın almalar nadirdir; tıklamalar yaygındır. Satın almaya götüren tıklama üzerinde bir test on kat fazla olaya sahiptir ve bitebilir.
• Bir testin altı ay çalışmasına izin vermek. Sezonlar, kampanyalar ve ürün değişiklikleri hepsi içine sızar ve iki kol sonunda farklı dönemleri ölçer.
• Anlamlı diye bir kazanana güvenmek. Fikirlerin arasında az gerçek kazanan varken, anlamlı bir sonuç p-değerinin ima ettiğinden daha sık sahte alarmdır. Yanlış pozitif riski kutusu buna bir sayı koyar.
• "Anlamlı değil"i "fikir başarısız oldu" diye okumak. Düşük trafikte neredeyse hiçbir şey anlamlı değildir. Fikir gayet iyi olabilir; test onu göremedi.

Gerçeklik testi SSS