العربية
اكتب عدد الزوار والتحويلات لكل نسخة. تحصل على الحكم في جملة واحدة، والقيمة الاحتمالية p مع خطوات حسابها، والفترة، والاحتمال البايزي أن B أفضل، وفحصًا يتأكد أن تقسيم الزيارات غير معطوب، وأصغر تحسن كان يمكن لهذا الاختبار أن يراه أصلًا.
آخر تحديث
يعلّمك Coddy عبر كتابة كود حقيقي في متصفحك: دروس تفاعلية، وملاحظات فورية، ومساعدة بالذكاء الاصطناعي عندما تتعثر.
كل حاسبة اختبار A/B تطبع قيمة احتمالية p. ومعظمها يتوقف عند ذلك، وهكذا ينتهي المؤسسون محدقين في ثقة 87% متسائلين عما تعنيه. هذه الحاسبة تجيب عن الأسئلة التي تحدد فعلًا ما ستفعله بعد ذلك. هل الفرق أكبر مما تنتجه الصدفة؟ ما الحجم الممكن للتحسن الحقيقي، في أسوأ الأحوال وأحسنها؟ إذا خرج الاختبار «غير دال»، هل كان بوسعه أصلًا أن يجد شيئًا بحجم العينة هذا؟ وهل تقسيم الزيارات نفسه سليم، أم أنك تقارن مجموعتين لم تكونا متكافئتين قط؟
تُجري الحاسبة اختبار z القياسي للنسبتين، وهو الاختبار نفسه الذي يستخدمه محرك Optimizely الكلاسيكي والوضع التكراري في VWO وكل كتاب إحصاء مدرسي، وتعرض كل سطر من الحساب: المعدل المدمج، والخطأ المعياري، والدرجة المعيارية z، ومساحة الطرف. وبجانبه يقف الجواب البايزي، أي احتمال أن يكون المعدل الحقيقي لـ B أعلى من معدل A، لأن «هناك احتمال 91% أن B أفضل» هي الجملة التي كان معظم الناس يأملون أن تعطيهم إياها القيمة الاحتمالية، وهي رقم مختلف.
بنيناها بعد أن نظرنا إلى لوحتنا نحن. أجرت Coddy نحو عشرين تجربة مسماة، عشر منها اختبارات تسعير لكل بلد على شرائح صغيرة من الزيارات، وكانت أداتنا الداخلية تعرض شريط ثقة وتحته عبارة «واصل التشغيل» تحت 95%. ذلك توقف اختياري بوجه ودود. التبويبات الثلاثة بجانب هذا التبويب، حجم العينة، واختبار الواقع، ومحاكي الاستراق، موجودة لأن حاسبة لا تبلّغ إلا عن الدلالة هي حاسبة تساعدك على خداع نفسك بسرعة أكبر.
الزوار هم الأشخاص الذين وُضعوا في تلك النسخة، لا مشاهدات الصفحة. والتحويلات هم من فعلوا الشيء الذي تقيسه: سجلوا، دفعوا، نقروا. يجب أن يُحسب الاثنان بالطريقة نفسها في الذراعين.
95% بطرفين هو الافتراضي والخيار الأمين عندما يمكن أن تكون B أفضل أو أسوأ. الطرف الواحد فقط لحالة تجاهل B الأسوأ بالطريقة نفسها تمامًا كعدم التغيير، وهي أندر مما يظن الناس.
الشريط يقول ما تدعمه الأرقام. وبطاقة التحسن النسبي تعرض الفترة: الأثر الحقيقي يقع على الأرجح في أي مكان داخلها، والطرف الأدنى هو الرقم الذي تخطط به، لا التقدير النقطي.
إذا أُشير إلى التقسيم، فأصلح الاختبار قبل قراءة أي شيء آخر. وإذا كان أصغر تحسن قابل للرصد أكبر من التحسن الذي رصدته، فالاختبار كان ضعيف القوة: اذهب إلى تبويب حجم العينة وانظر كم زائرًا سيحتاج.
نسخ النتيجة يعطيك الملخص لرسالة أو مستند. ونسخ الرابط يضع الأرقام الأربعة في العنوان، فمن يفتحه يرى الحساب نفسه.
ما تعنيه كل بطاقة، في سطر واحد.
| البطاقة | ما هي | كيف تقرؤها |
|---|---|---|
| التحسن النسبي | (معدل B ناقص معدل A) مقسومًا على معدل A | العنوان الرئيسي. والفترة بجانبه هي المدى الذي يقع فيه التحسن الحقيقي على الأرجح. |
| القيمة الاحتمالية p | احتمال فجوة بهذا الحجم لو كانت A وB متطابقتين | أقل من 0.05 عند ثقة 95% تعني دالًا. ليست احتمال أن تكون النتيجة خاطئة. |
| الثقة | 1 ناقص p، كنسبة مئوية | الرقم الذي تطبعه معظم الأدوات. 87% ليست قريبة من 95%؛ هي عملة سقطت على الوجه الخطأ من الخط. |
| احتمال أن B أفضل | الاحتمال البايزي أن يكون المعدل الحقيقي لـ B أعلى من معدل A | الجملة التي يريدها الناس. 91% تعني أن B أفضل على الأرجح، لا أنها أفضل بنسبة 91%. |
| أصغر تحسن يمكن لهذا الاختبار رؤيته | التحسن النسبي القابل للرصد بقوة 80% بأحجام الذراعين هذه | إذا كان التحسن الذي رصدته أقل منه، فـ «غير دال» تعني «لم يستطع الحكم». |
| تقسيم الزيارات | الحصة المشاهدة من الزوار في كل ذراع مقابل الخطة | يُشار إليه عندما ينحرف التقسيم أكثر مما تسمح به الصدفة. أصلح الاختبار قبل قراءة النتائج. |
A: 10,000 زائر، 500 تحويل (5.00%). B: 10,000 زائر، 560 تحويلًا (5.60%). التحسن النسبي +12%، p = 0.058.
غير دال عند 95%، والفترة تمتد من نحو سالب 0.4% إلى زائد 24%. القراءة الأمينة هي «على الأرجح تحسن صغير، وقد يكون لا شيء». أصغر تحسن يمكن لهذا الاختبار رصده نحو 17%، فأثر بحجم 12% كان سيقع في المنطقة الرمادية دائمًا. يحتاج إلى نحو ضعف الزيارات، لا إلى أسبوع آخر من الأمل.
A: 5,000 زائر، 100 تحويل. B: 4,300 زائر، 120 تحويلًا. التقسيم المخطط 50/50.
تبدو B فائزة واضحة بـ +40%. الحاسبة ترفض أن تقول ذلك: تقسيم 5,000 مقابل 4,300 احتمال حدوثه بالصدفة عند 50/50 أقل من واحد في المليون. هناك شيء يزيل المستخدمين من B قبل أن يُحسبوا، وكثيرًا ما يكون إعادة توجيه تفشل في متصفح واحد، أو مرشح روبوتات يعامل النسخة بشكل مختلف. أيًا كان، المجموعتان غير قابلتين للمقارنة والتحسن بلا معنى.
A: 400 زائر، 12 تحويلًا (3.0%). B: 400 زائر، 19 تحويلًا (4.75%). التحسن النسبي +58%، p = 0.20.
تحسن 58% يبدو هائلًا، والقيمة الاحتمالية نحو 0.19. مع 12 و19 تحويلًا تنبه الحاسبة إلى قلة البيانات: الأرقام تتأرجح بهذا الحجم لدرجة أن تسجيلًا إضافيًا واحدًا يحرك المعدل ربع نقطة. عند هذه الزيارات، أصغر تحسن يمكن للاختبار تأكيده في شهر يتجاوز 100%. هذا ليس سببًا لتشغيله مدة أطول؛ بل سبب لقراءة تبويب اختبار الواقع.
