עברית
השאלה שצריך לשאול לפני המבחן הראשון, לא אחרי העשירי. הזינו את המבקרים החודשיים, את שיעור ההמרה ואת השיפור שהייתם באמת פועלים לפיו, וקבלו תשובה ישירה: קדימה, על הגבול, או עצרו ועשו משהו אחר.
עודכן לאחרונה
ב-Coddy לומדים דרך כתיבת קוד אמיתי בדפדפן: שיעורים אינטראקטיביים, משוב מיידי ועזרה מ-AI כשנתקעים.
כל מדריך A/B testing נכתב על ידי חברה עם מיליוני מבקרים. צוות הניסויים של Microsoft, Google, Booking.com ו-Airbnb מריצים אלפי מבחנים בשנה, והעצה שלהם נכונה עבורם: לבדוק הכול, לסמוך על הנתונים, להשיק את מה שמנצח. סטארטאפ עם 8,000 מבקרים בחודש קורא את אותה עצה, בונה את אותו דשבורד, ואז לא מבין למה כל מבחן נגמר ב-87% ביטחון עם שיפור שמתכווץ כל שבוע. הוא לא עושה את זה לא נכון. הוא עושה משהו שלא עובד בגודל הזה.
הדף הזה עושה את החשבון שהמדריכים מדלגים עליו. ב-8,000 מבקרים בחודש שממירים ב-3%, אישור שיפור של 10% דורש כ-106,000 מבקרים: שלושה עשר חודשים של כל מבקר שיש לכם, כשהדף מוקפא כל הזמן. בארבעה שבועות השיפור הקטן ביותר שתוכלו לאשר הוא כ-40%. אלה לא בעיות של כוונון. Ronny Kohavi, שניהל את הניסויים ב-Microsoft וב-Airbnb, מציב את הרצפה המעשית לזיהוי שיפורים חד-ספרתיים בכמה מאות אלפי משתמשים; מתחת לזה, לדבריו, A/B testing עשוי להיות מוקדם מדי ומחקר משתמשים הוא השקעה טובה יותר.
אנחנו כותבים את זה מניסיון. הדשבורד של Coddy הריץ כעשרים ניסויים עם שם, עשרה מהם מבחני תמחור במדינות בודדות, כל אחד על פרוסה קטנה של תנועה, והציג "להמשיך להריץ" בכל פעם שהביטחון היה מתחת ל-95%. כמה מהם סומנו כהצלחה והושקו. במבט לאחור עם המחשבון הזה, חלק מהמבחנים האלה לא יכלו לזהות את השיפורים שיוחסו להם. הגרסה הכנה של אותו דשבורד היא הדף הזה: על מה התנועה הזו יכולה לענות, כמה זמן זה ייקח, וכמה פעמים מנצחת תהיה אזעקת שווא?
לא את כל האתר. אם המבחן בדף התמחור, אלה המבקרים של דף התמחור. אם זה שלב בקופה, אלה האנשים שמגיעים לשלב הזה.
המחשבון מציג את מספר ההמרות בחודש שזה מרמז עליו, וזו המגבלה האמיתית.
השיפור היחסי שהיה גורם לכם להשיק את השינוי. רוב האנשים אומרים 10% ומתכוונים לזה; היו כנים אם אצלכם הוא קטן יותר.
קדימה פירושו פחות מחודש. על הגבול פירושו פחות מרבעון, עם הדף מוקפא כל הזמן. עצרו פירושו שהמבחן לא יכול לענות על השאלה בתנועה שלכם. הסולם מראה כמה יעלו שיפורים גדולים יותר במקום זאת.
בחרו באיזו תדירות הרעיונות שלכם באמת עובדים. האריח מראה איזה חלק מהתוצאות המובהקות יהיו אזעקות שווא בשיעור הזה, וזה המספר שכדאי לזכור בפעם הבאה שמבחן יוצא ירוק.
שתי גרסאות, כל מבקר נכנס למבחן. מצאו את השורה ואת העמודה שלכם.
| מבקרים בחודש | בסיס 1% | בסיס 3% | בסיס 5% | בסיס 10% |
|---|---|---|---|---|
| 3,000 | מעל 100 חודשים | 35 חודשים | 21 חודשים | 9.8 חודשים |
| 8,000 | 41 חודשים | 13 חודשים | 7.8 חודשים | 3.7 חודשים |
| 25,000 | 13 חודשים | 4.3 חודשים | 2.5 חודשים | 5 שבועות |
| 100,000 | 3.3 חודשים | 5 שבועות | 19 ימים | 9 ימים |
| 500,000 | 20 ימים | 6 ימים | 4 ימים | 2 ימים |
8,000 מבקרים בחודש, שיעור הרשמה של 3%, רוצה לראות שיפור של 10%. הכרעה: עצרו. כ-13 חודשים ו-106,000 מבקרים. בארבעה שבועות השיפור הקטן ביותר שניתן לאשר הוא כ-40%.
מאתיים וארבעים הרשמות בחודש לא יכולות להכריע הבדל של 0.3 נקודה. עדיף שהצוות ישקיע את הזמן בראיון של חמישה משתמשים ובשינויים גדולים מספיק כדי להופיע בלי מבחן: כותרת חדשה היא לא אחד מהם; מודל תמחור חדש אולי כן.
50,000 מבקרים בחודש, שיעור הרשמה לניוזלטר של 2%, רוצה שיפור של 10%. הכרעה: על הגבול. כ-3.2 חודשים. בארבעה שבועות השיפור הקטן ביותר שניתן לאשר הוא כ-19%.
ניתן לבדיקה, אבל רק לשינויים נועזים. לבדוק את מיקום הטופס זה בסדר אם זה עשוי להזיז את ההרשמות בחמישית; לבדוק את הטקסט על הכפתור לא. לחלופין, בדקו את הלחיצה שמובילה לטופס, שהרבה יותר מבקרים עושים.
400,000 מבקרים בחודש, המרה של 4%, רוצה שיפור של 10%. הכרעה: קדימה. המבקרים מגיעים בפחות משבוע; הריצו בכל זאת שבועיים שלמים.
זה הגודל שעבורו נכתבים מדריכי ה-A/B testing. הסיכון שנותר הוא שיעור הבסיס: אם רעיון אחד מחמישה באמת עובד, בערך מנצחת מובהקת אחת משש עדיין היא אזעקת שווא, ולשונית סימולטור ההצצות מראה כמה מהר זה מחמיר עם בדיקות יומיות.
