محاكي الاستراق في اختبار A/B

أغلى عادة في اختبارات A/B، محاكاة على أرقامك

إليك العادة. تبدأ اختبارًا، وكل صباح تفتح اللوحة. الشريط يزحف صعودًا، وينخفض، ويزحف صعودًا مجددًا، وذات ثلاثاء يتجاوز 95%. تعلنه، وتطلق الفائز، وتمضي. المشكلة أن القيمة الاحتمالية تتجول. في اختبار تكون فيه النسختان متطابقتين، تعبر القيمة الاحتمالية 0.05 في بعض الأيام بالصدفة؛ لكنها تعود لاحقًا. والتوقف عند أول عبور يعني أنك تلتقطها في طريقها، ومستوى الثقة الذي ظننت أنك تملكه قد ذهب.

حجم الأثر يفاجئ الناس. عند ثقة 95%، اختبار يُقرأ مرة واحدة في النهاية يخدعك نحو مرة في كل عشرين، وهذه هي الصفقة التي وقعتها. اقرأ الاختبار نفسه كل يوم لأربعة أسابيع وتوقف عند أول يوم أخضر، وسيُظهر المحاكي عادة فائزًا زائفًا في ربع الاختبارات أو أكثر بينما لم يتغير شيء. المقال الأصلي لإيفان ميلر وضعها فوق 20% للمسترق اليومي؛ وأعادت Optimizely بناء محرك الإحصاء لديها في 2015 لأن معدل الإيجابيات الكاذبة لدى عملائها تجاوز ذلك. والفحص أسبوعيًا بدل يوميًا يُنصّف الضرر تقريبًا لكنه لا يزيله.

المحاكاة هنا صادقة بشأن ما هي: كل اختبار يسحب التحويلات بالمعدل الحقيقي للذراعين، ويجري اختبار z العادي للنسبتين عند كل نظرة على كل ما جُمع حتى الآن، ويسجل أين كان المسترق سيتوقف. كل مسار في الرسم اختبار واحد؛ وكل نقطة صباح كان أحدهم سيعلن فيه نتيجة. اضبط التحسن الحقيقي على +10% لترى النصف الآخر من القصة، حيث يلتقط المسترق أثرًا حقيقيًا مبكرًا لكن بتحسن مبالغ فيه، وكان «سيفوز» بالحماسة نفسها لو كان الأثر صفرًا.

ما تبينه المحاكاة

• القيمة الاحتمالية p سير عشوائي. في ظل فرضية العدم تكون موزعة بانتظام عند أي نظرة واحدة، ما يعني أن في أي صباح واحد احتمال 5% أن تقع تحت 0.05. وعلى مدى ثمانية وعشرين صباحًا تتراكم تلك الاحتمالات.
• معدل الإيجابيات الكاذبة يعتمد على عدد مرات النظر، لا على مدة الاختبار. اختبار أربعة أسابيع يُقرأ أسبوعيًا يُخدع أقل من اختبار أسبوعين يُقرأ يوميًا.
• التوقف المبكر يبالغ في التحسن. عندما يتوقف المسترق في يوم حظ، يكون التحسن المرصود ذلك اليوم كبيرًا على نحو غير معتاد بحكم التعريف. والفائزون المطلقون الذين «تلاشوا» بعد الإطلاق كثيرًا ما كانوا هذا.
• العلاج إما الانضباط أو اختبار مختلف. الانضباط: ثبّت حجم العينة وتاريخ الانتهاء مسبقًا واقرأ مرة واحدة. الاختبار المختلف: الطرق التتابعية، مثل القيم الاحتمالية الصالحة دائمًا التي تستخدمها Optimizely وStatsig وEppo، مبنية لتُقرأ باستمرار بثمن في حجم العينة.
• اللوحات البايزية ليست محصنة. احتمال «أن يكون الأفضل» يُفحص يوميًا ويُتصرف بناءً عليه عند عتبة له المشكلة نفسها في زي مختلف.

كيف تستخدم المحاكي

1. 1

   أدخل معدل تحويلك وزوارك اليوميين

   المحاكاة تسحب التحويلات بمعدلك الحقيقي، فيطابق تجوال القيمة الاحتمالية الضجيج الذي ستراه فعلًا.

2. 2

   حدد المدة المخططة وكم مرة تنظر

   يوميًا، أو كل ثلاثة أيام، أو أسبوعيًا. والفجوة بين معدل المسترق والمعدل الأمين هي ثمن تلك العادة.

3. 3

   أبقِ التحسن الحقيقي على لا شيء

   هذا يجعل كل اختبار اختبار A/A: أي فائز إنذار كاذب بحكم البناء. انتقل إلى +10% أو +30% بعدها لترى المسترق على أثر حقيقي.

4. 4

   اقرأ الرقمين الكبيرين

   معدل المسترق هو كم مرة أعلن الفاحص اليومي فائزًا. ومعدل تاريخ الانتهاء ينبغي أن يكون قريبًا من α التي اخترتها؛ فإن كان كذلك، فالاختبار الأمين يفعل ما وعد به.

5. 5

   شغّله مجددًا

   كل جولة تسحب اختبارات عشوائية جديدة. المعدلات تتحرك قليلًا؛ والفجوة لا تتحرك.

معدلات الإيجابيات الكاذبة النموذجية في اختبارات A/A

عند ثقة 95%، قراءة أمينة واحدة في النهاية تُخدع نحو 5% من المرات. أرقام تقريبية من المحاكاة والأدبيات لمسترق يتوقف عند أول نظرة دالة.

ثلاث عادات، محاكاة

أخطاء الاستراق

• التوقف عند أول صباح دال. هذه هي الصفحة كلها. مستوى الثقة لا يعني ما يقوله إلا إذا قرأت النتيجة مرة واحدة.
• تمديد اختبار «على وشك». قرار التشغيل مدة أطول لأن النتيجة تكاد تكون دالة استراق بالعكس، ويضخم معدل الإيجابيات الكاذبة بالطريقة نفسها.
• الفحص اليومي «للتأكد فقط أن لا شيء معطوب». مراقبة الأخطاء مقبولة؛ ومراقبة القيمة الاحتمالية ليست كذلك. انظر إلى تقسيم الزيارات ومعدلات الأخطاء، لا التحسن، حتى تاريخ الانتهاء.
• الاعتقاد بأن لوحة بايزية تجعل الاستراق آمنًا. التصرف بناءً على عتبة احتمال تفحصها يوميًا له التضخم نفسه.
• الإبلاغ عن التحسن من اليوم الذي توقفت فيه. إذا كان لا بد من التوقف مبكرًا، فأبلغ عن الفترة، وتوقع أن يكون التحسن الحقيقي أصغر من التقدير النقطي.

أسئلة شائعة عن الاستراق