עברית
אלפיים מבחנים שבהם A ו-B הם אותו דף, מורצים על התנועה שלכם. ראו כמה מהם מי שמציץ כל יום היה מכריז כמנצחים, וכמה מאותם מבחנים מרמים את מי שמחכה לתאריך הסיום.
עודכן לאחרונה
ב-Coddy לומדים דרך כתיבת קוד אמיתי בדפדפן: שיעורים אינטראקטיביים, משוב מיידי ועזרה מ-AI כשנתקעים.
זה ההרגל. אתם מתחילים מבחן, וכל בוקר פותחים את הדשבורד. הפס זוחל למעלה, יורד, זוחל שוב למעלה, ובאיזה יום שלישי הוא חוצה את ה-95%. אתם מכריזים, משיקים את המנצחת וממשיכים הלאה. הבעיה היא שה-p-value נודד. במבחן שבו שתי הגרסאות זהות, ה-p-value עדיין חוצה את 0.05 בחלק מהימים במקרה; הוא פשוט חוצה בחזרה מאוחר יותר. עצירה בחצייה הראשונה פירושה שתפסתם אותו בדרך, ורמת הביטחון שחשבתם שיש לכם נעלמה.
גודל האפקט מפתיע אנשים. ב-95% ביטחון, מבחן שנקרא פעם אחת בסוף מרמה אתכם בערך פעם אחת מעשרים, וזו העסקה שחתמתם עליה. קראו את אותו מבחן כל יום במשך ארבעה שבועות ועצרו ביום הירוק הראשון, והסימולטור בדרך כלל מראה מנצחת שגויה ברבע או יותר מהמבחנים שבהם שום דבר לא השתנה. המאמר המקורי של Evan Miller העריך זאת ביותר מ-20% למי שמציץ כל יום; Optimizely בנתה מחדש את מנוע הסטטיסטיקה שלה ב-2015 כי שיעור החיוביים השגויים של הלקוחות שלה עבר את זה. בדיקה שבועית במקום יומית חוצה את הנזק בערך בחצי אבל לא מעלימה אותו.
הסימולציה כאן כנה לגבי מה שהיא: כל מבחן מגריל המרות בשיעור האמיתי לשתי הגרסאות, מריץ את מבחן z הרגיל לשתי פרופורציות בכל הצצה על כל מה שנאסף עד כה, ורושם איפה מי שמציץ היה עוצר. כל מסלול בגרף הוא מבחן אחד; כל נקודה היא בוקר שבו מישהו היה מכריז על תוצאה. קבעו את השיפור האמיתי ל-+10% כדי לראות את החצי השני של הסיפור, שבו מי שמציץ תופס אפקט אמיתי מוקדם אבל עם שיפור מוגזם, והיה "מנצח" באותה התלהבות אילו האפקט היה אפס.
הסימולציה מגרילה המרות בשיעור האמיתי שלכם, כך שהנדידה של ה-p-value תואמת את הרעש שהייתם רואים בפועל.
כל יום, כל שלושה ימים או כל שבוע. הפער בין השיעור של מי שמציץ לבין השיעור הכן הוא המחיר של ההרגל הזה.
כך כל מבחן הוא מבחן A/A: כל מנצחת היא אזעקת שווא מעצם ההגדרה. עברו אחר כך ל-+10% או ל-+30% כדי לראות את מי שמציץ מול אפקט אמיתי.
השיעור של מי שמציץ הוא התדירות שבה הבודק היומי הכריז על מנצחת. השיעור בתאריך הסיום אמור להיות קרוב לאלפא שבחרתם; אם כן, המבחן הכן עושה את מה שהבטיח.
כל הרצה מגרילה מבחנים אקראיים חדשים. השיעורים זזים מעט; הפער לא.
ב-95% ביטחון, קריאה כנה אחת בסוף מרמה בערך ב-5% מהפעמים. מספרים משוערים מהסימולציה ומהספרות עבור מי שמציץ ועוצר בהצצה המובהקת הראשונה.
| באיזו תדירות מסתכלים | הצצות ב-4 שבועות | מנצחות שגויות |
|---|---|---|
| פעם אחת, בסוף | 1 | כ-5% |
| כל שבוע | 4 | כ-10 עד 13% |
| כל 3 ימים | 9 עד 10 | כ-15 עד 20% |
| כל יום | 28 | כ-25 עד 30% |
| כל יום במשך 12 שבועות | 84 | מעל 35% |
המרה של 5%, 1,000 מבקרים ביום, 28 ימים, נבדק כל בוקר. בהרצה שלנו: מי שמציץ הכריז על מנצחת בכ-28% מתוך 2,000 מבחני A/A; בקריאה אחת בסוף, 4.5%.
פי שישה משיעור אזעקות השווא, במבחן שהרגיש זהיר כי מישהו עקב אחריו כל יום. חצי מה"מנצחות" האלה הכתירו את B וחצי את A, כי לא היה מה למצוא.
אותה תנועה, אותו אורך, נבדק פעם בשבוע. בהרצה שלנו: כ-12% למי שמציץ לעומת 5% בסוף.
להסתכל ארבע פעמים במקום עשרים ושמונה עוזר הרבה ועדיין יותר מכפיל את השיעור המובטח. אין מספר הצצות מלבד אחת ששומר על ההבטחה.
קבעו את השיפור האמיתי של B ל-+10% על אותה תנועה. למבחן הכן ב-28 ימים יש עוצמה מוגבלת לשיפור כה קטן בתנועה כזו; מי שמציץ עוצר מוקדם לעתים קרובות יותר, בימי המזל.
זה המקרה המפתה: נראה שמי שמציץ מוצא דברים מהר יותר. אבל הימים שבהם הוא עוצר הם הימים שבהם השיפור נראה הכי גדול, כך שההערכה שמושקת מנופחת, ואותו הרגל היה מוצא "מנצחת" גם עם שיפור של אפס.
