עברית
כמה מבקרים כל גרסה צריכה לפני שהמבחן יכול לומר משהו, וכמה ימים זה בתנועה שלכם. קבעו את השיפור הקטן ביותר ששווה לזהות, את רמת הביטחון ואת העוצמה, וקראו את המספר עם הנוסחה מתחתיו.
עודכן לאחרונה
ב-Coddy לומדים דרך כתיבת קוד אמיתי בדפדפן: שיעורים אינטראקטיביים, משוב מיידי ועזרה מ-AI כשנתקעים.
גודל מדגם הוא הבטחה שאתם נותנים לעצמכם לפני שהמבחן מתחיל: "אסתכל על התוצאה כשכך וכך אנשים יראו אותה, ולא לפני כן." בלעדיו, כל A/B test נסחף לאותו סיפור. השבוע הראשון נראה מבטיח, בשבוע השני השיפור מתכווץ, מישהו שואל אם זה כבר מובהק, והמבחן נגמר ביום שהפס הופך לירוק. הדף הזה נותן לכם את המספר לכתוב בתוכנית, כך שתאריך הסיום יהיה עובדה ולא מצב רוח.
החישוב הוא גודל המדגם הסטנדרטי לשתי פרופורציות, זה שמאחורי המחשבון של Evan Miller ושל Optimizely, והוא תלוי בארבעה דברים: שיעור הבסיס, השיפור שאתם רוצים להיות מסוגלים לזהות, רמת הביטחון והעוצמה. העוצמה היא זו שאנשים מדלגים עליה. בעוצמה של 80%, שיפור אמיתי בגודל שציינתם נתפס שמונה פעמים מעשר; למבחן עם חצי מהמדגם יש הרבה פחות מחצי מהעוצמה, ולכן מבחן בלי מספיק עוצמה הוא לא "תשובה גסה יותר" אלא בדרך כלל אין תשובה בכלל.
העקומה מתחת לתוצאה היא החלק ששווה לזכור. מספר המבקרים הנדרש גדל עם הריבוע של אחד חלקי השיפור: חצו את השיפור שאתם רוצים לראות ותצטרכו בערך פי ארבעה תנועה. אתר שיכול לאשר שיפור של 30% בשבועיים צריך בערך פי תשעה זמן כדי לאשר שיפור של 10%. אם מספר הימים יוצא בחודשים, זה המחשבון שאומר לכם לבדוק משהו גדול יותר, או לעלות במשפך למדד שיותר אנשים מגיעים אליו, לפני שהוא אומר לכם לחכות.
השתמשו בשיעור של הדף או השלב שהמבחן ישנה, כפי שנמדד על אותו סוג מבקרים שהמבחן יראה. אל תשתמשו בממוצע של כל האתר כשאתם בודקים שלב אחד במשפך.
שאלו איזה שיפור היה גורם לכם להשיק את השינוי. זה האפקט המינימלי לזיהוי שלכם. 10% יחסי הוא בחירה נפוצה לדף בוגר; עיצוב מחדש עשוי להצדיק 20% ומעלה.
95% ביטחון ו-80% עוצמה הם המוסכמות. העלו את הביטחון כשמנצחת שגויה יקרה לביטול; העלו את העוצמה כשמנצחת שפוספסה יקרה להשאיר על השולחן.
כל הגרסאות יחד, כשסופרים רק את המבקרים שיגיעו למבחן. התוצאה הופכת לימים ולשבועות שלמים.
המחשבון נותן לכם את גודל המדגם לכל גרסה. הכניסו אותו לתוכנית המבחן עם התאריך שנגזר ממנו, ואל תקראו תוצאות לפניו. לשונית סימולטור ההצצות מראה למה.
מבקרים לכל גרסה ב-95% ביטחון ו-80% עוצמה, דו-צדדי. הכפילו בשתיים למבחן עם שתי גרסאות.
| שיעור בסיס | שיפור +5% | שיפור +10% | שיפור +20% | שיפור +50% |
|---|---|---|---|---|
| 1% | כ-637,000 | כ-163,000 | כ-42,700 | כ-7,800 |
| 3% | כ-208,000 | כ-53,200 | כ-13,900 | כ-2,500 |
| 5% | כ-122,000 | כ-31,200 | כ-8,200 | כ-1,500 |
| 10% | כ-57,800 | כ-14,800 | כ-3,800 | כ-690 |
| 20% | כ-25,600 | כ-6,500 | כ-1,700 | כ-290 |
בסיס 5%, אפקט מינימלי לזיהוי 10% (יעד 5.5%), 95% ביטחון, 80% עוצמה, דו-צדדי. תוצאה: כ-31,000 מבקרים לכל גרסה, 62,000 בסך הכול.
ב-1,000 מבקרים ביום זה 62 ימים, כלומר תשעה שבועות שלמים. צוותים רבים היו אומרים שזה ארוך מדי, ובודקים שינוי נועז יותר או מקבלים שהדף הזה צריך שיפור של 20% ומעלה כדי להיות בר בדיקה בשבועיים.
בסיס 3%, אפקט מינימלי לזיהוי 20% (יעד 3.6%). תוצאה: כ-13,900 מבקרים לכל גרסה.
בסיסים נמוכים יותר צריכים יותר מבקרים לאותו שיפור יחסי, כי יש פחות המרות לספור. שיפור יחסי של 20% כאן הוא רק 0.6 נקודות אחוז, והמבחן צריך להבדיל בין 3.0% ל-3.6%.
בסיס 5%, שיפור 10%, ארבע גרסאות כולל הביקורת. האלפא לכל השוואה הופכת ל-0.05 / 3, והמדגם לכל גרסה גדל בכשליש; הסך הכול הוא פי ארבעה מהמספר לכל גרסה.
הוספת גרסאות היא הדרך המהירה ביותר להפוך מבחן של שבועיים למבחן של חודשיים. בדקו רעיון חזק אחד מול הביקורת; הריצו את הרעיון הבא אחר כך.
