לכל מבחן t יש אותו מבנה. יש הפרש שמעניין אתכם: ממוצע מדגם מול ערך נטען, שני ממוצעי קבוצות זה מול זה, או השינוי הממוצע בין זוגות. יש שגיאת תקן: כמה ההפרש הזה היה מתנדנד ממדגם אחד לבא, כפי שהיא נאמדת מהפיזור של הנתונים. סטטיסטי t הוא הראשון חלקי השני, כך ש־t = 3 פירושו שההפרש רחב שלוש שגיאות תקן, ועקומת t עם דרגות החופש המתאימות הופכת את זה לערך p.
שלושת המבחנים נבדלים רק במה שהם ההפרש ושגיאת התקן. מדגם אחד: הממוצע פחות הערך המשוער, חלקי s חלקי שורש n. מזווג: אותו דבר על רשימת ההפרשים, אחד לכל זוג, ולכן זיווג כל כך חזק כשכל זוג חולק הרבה רעש. שני מדגמים: הפער בין הממוצעים חלקי שגיאת תקן שבנויה משני הפיזורים. עבור שני מדגמים הדף משתמש כברירת מחדל בגרסה של Welch, שלא מניחה שלשתי הקבוצות אותה שונות, והיא ברירת המחדל של כל חבילה סטטיסטית מודרנית; הגרסה המאוחדת של Student נמצאת במרחק מתג אחד, למקרה שקורס דורש אותה.
הדף שומר מדויק את מה שאפשר לשמור מדויק. ממוצע של 26 מודפס כ־26 ושונות של 32/3 כ־32/3, לא 10.67; שגיאת התקן מוצגת כשורש, כי היא שורש ריבועי; סטטיסטי t הוא המספר העשרוני הראשון, כי חילוק בשורש לא משאיר שום דבר רציונלי לשמור. מתחת, כל שלב מפורט כדי שתוכלו לבדוק את טבלת הסיכום של המדגם מול העבודה שלכם.
מה כדאי לדעת על מבחני t
דרגות החופש הן n פחות 1 למדגם אחד ולנתונים מזווגים, ו־n1 ועוד n2 פחות 2 למבחן שני מדגמים מאוחד. דרגות החופש של Welch הן שבר שמחושב משתי השונויות, ולעתים קרובות אינן מספר שלם.
זיווג מסיר רעש משותף. מדידות לפני ואחרי על אותם אנשים צריכות להיות מבחן מזווג, אף פעם לא מבחן שני מדגמים; מבחן שני מדגמים זורק את הזיווג ובדרך כלל לא מוצא כלום.
Welch היא ברירת המחדל הבטוחה. כששתי השונויות באמת שוות, שתי הגרסאות מסכימות; כשלא, רק Welch שומרת על שיעור הטעות המובטח.
רווח הסמך אומר את מה שערך p לא יכול: כמה גדול ההפרש צפוי להיות. t מובהק עם רווח מ־0.1 עד 0.3 הוא אפקט קטן; אותו t עם רווח מ־2 עד 6 הוא אפקט גדול.
Cohen's d הוא ההפרש ביחידות של סטיית תקן, ולכן אפשר להשוות אותו בין מחקרים עם סקלות שונות. בערך 0.2 הוא קטן, 0.5 בינוני, 0.8 גדול.
איך מריצים מבחן t
1
בחרו את סוג המבחן
מדגם אחד מול ממוצע נטען; שני מדגמים בלתי תלויים זה מול זה; מזווג כשלכל ערך ברשימה אחת יש בן זוג ברשימה השנייה.
2
הדביקו את הנתונים
פסיקים, רווחים או שורות חדשות, הכול עובד. במבחן מזווג שתי הרשימות חייבות להיות באותו אורך ובאותו סדר.
3
קבעו את ההשערה ואת הרמה
דו־זנבי עבור "שונה", חד־זנבי עבור כיוון שנקבע מראש. אלפא של 0.05 היא המוסכמה.
4
קראו קודם את טבלת הסיכום
בדקו שהממוצעים והשונויות תואמים את מה שציפיתם. רוב מבחני ה־t השגויים שגויים כי ערך הוקלד לרשימה הלא נכונה.
5
אחר כך קראו את t, את p ואת הרווח
המסקנה אומרת אם ההפרש עבר את הרף; הרווח אומר כמה הוא כנראה גדול. דווחו את שניהם.
לעשרת הערכים ממוצע 26 ושונות מדגם 32/3. שגיאת התקן היא השורש של 32/30, בערך 1.033, ולכן t הוא בערך 1.94 עם 9 דרגות חופש וערך p דו־זנבי של בערך 0.085. לא מובהק ב־5%: ממוצע של 26 נמצא בתחום שמדגם של עשרה מאוכלוסייה עם ממוצע 24 היה מייצר בערך פעם אחת מתוך שתים־עשרה.
הממוצע של הקבוצה הראשונה הוא בערך 84.7, ושל השנייה בערך 78.9. מבחן Welch נותן t של בערך 2.46 עם בערך 9 דרגות חופש ו־p סביב 0.036; הגרסה המאוחדת נותנת אותו t עם 12 דרגות חופש ו־p סביב 0.030. מובהק בכל מקרה, והרווח להפרש נמשך בערך מ־0.5 עד 11.2.
כל זוג עלה ב־2 עד 4 נקודות. ממוצע ההפרשים הוא 19/6, בערך 3.17, עם פיזור קטן, ולכן t המזווג גדול, בערך 10.3 עם 5 דרגות חופש, ו־p הוא בערך 0.0001. מבחן שני מדגמים על אותם מספרים היה מוצא הרבה פחות, כי הפיזור בין האנשים מטביע את השינוי אצל כל אחד.
טעויות במבחן t
הרצת מבחן שני מדגמים על נתונים מזווגים. הזיווג הוא המידע; לזרוק אותו זו הדרך שבה שינוי אמיתי נעלם בתוך הרעש.
הנחה של שונויות שוות בלי לבדוק. המבחן המאוחד נכון רק כשהפיזורים תואמים; Welch כמעט לא עולה כלום כשהם תואמים ומציל את המבחן כשלא.
שימוש בנוסחת האוכלוסייה לשונות. מבחן t משתמש בשונות המדגם, עם חילוק ב־n פחות 1, והדף עושה זאת.
לקרוא מובהקות כגודל. הפרש זעיר מובהק כשיש מספיק נתונים; הרווח ו־Cohen's d אומרים אם הוא משנה.
בחירת הזנב אחרי שראיתם את הסימן. אם השאלה הייתה "שונה", המבחן דו־זנבי גם כשהתוצאה יצאה לטובתכם.
בדיקת מדד מוטה מאוד עם קומץ ערכים. עם n מתחת לבערך 15 וזנב ארוך, עקומת t היא מדריך גס; מבחן דירוגים או bootstrap הם החלופה הכנה.
שאלות נפוצות על מבחן t
מתי להשתמש במבחן t במקום במבחן z?
בכל פעם שסטיית התקן נאמדת מאותו מדגם, כלומר כמעט תמיד. הזנבות הכבדים יותר של עקומת t מביאים בחשבון את אי־הוודאות הנוספת הזו. מבחן z מיועד למקרה של ספרי הלימוד, שבו סטיית התקן של האוכלוסייה ידועה מראש, או למדגמים גדולים מאוד שבהם שתי העקומות מתלכדות.
מה ההבדל בין מבחן t מזווג למבחן t לא מזווג?
מבחן מזווג משתמש בהפרשים בתוך זוגות תואמים, למשל אותו אדם שנמדד פעמיים, כך שהרעש המשותף לכל זוג מתבטל. מבחן לא מזווג (שני מדגמים) משווה שתי קבוצות נפרדות. השתמשו במזווג בכל פעם שלכל ערך ברשימה אחת יש בן זוג טבעי ברשימה השנייה; אחרת, בשני מדגמים.
להשתמש במבחן t של Welch או של Student?
Welch, אלא אם קורס או כתב עת קובעים אחרת. המבחן המאוחד של Student מניח שלשתי הקבוצות אותה שונות ונותן שיעורי טעות שגויים כשזה לא כך; Welch מוותר על ההנחה ומסכים עם Student כשהיא מתקיימת. הדף הזה משתמש כברירת מחדל ב־Welch ומציע את המאוחד כמתג.
איך קוראים את דרגות החופש במבחן Welch?
דרגות החופש של Welch מגיעות מנוסחה על שתי שונויות המדגם והגדלים, ובדרך כלל אינן מספר שלם, למשל 9.87. זה נורמלי; עקומת t מוגדרת לכל df חיובי. כששתי השונויות והגדלים שווים, זה מצטמצם ל־n1 ועוד n2 פחות 2.
מה המשמעות של רווח הסמך להפרש?
טווח הערכים של ההפרש האמיתי שהנתונים עקביים איתם ברמה שנבחרה. אם הוא לא כולל אפס, המבחן מובהק באלפא המתאימה; הרוחב שלו אומר כמה במדויק ההפרש נקבע. דווחו אותו לצד ערך p.
מה זה Cohen's d?
ההפרש בין הממוצעים חלקי סטיית התקן, כלומר גודל אפקט ביחידות של סטיית תקן שאפשר להשוות בין מחקרים עם סקלות שונות. לפי המוסכמה 0.2 הוא קטן, 0.5 בינוני ו־0.8 גדול, אם כי מה שנחשב משמעותי תלוי בתחום.
אפשר להשתמש בזה למבחן A/B?
לשיעור המרה, לא: זו השוואה של פרופורציות, ומחשבון מבחן A/B בדפי הכלים עושה אותה עם מבחן z לשתי פרופורציות. למדד רציף כמו הכנסה למשתמש או זמן בדף, כן, אם יש לכם ערכים לכל משתמש להדביק; מבחן Welch לשני מדגמים הוא הבחירה הנכונה.