שאריות ברגרסיה
שארית היא המרחק של נקודה מעל או מתחת לישר הרגרסיה. כל אחת היא חיסור קטן, ויחד הן מגלות אם הישר שווה משהו.
עודכן לאחרונה
ישר רגרסיה חוזה ערך y לכל x. רוב הנקודות לא נופלות בדיוק עליו, והפער בין מה שהנקודה באמת שווה לבין מה שהישר אומר שהיא אמורה להיות הוא השארית של אותה נקודה. זה הגודל הפשוט ביותר ברגרסיה, חיסור אחד, וקריאת השאריות היא הדרך להבדיל בין ישר שמתאים לבין ישר שרק נראה כאילו הוא מתאים.
גררו את הנקודות למטה. כל קטע אנכי הוא שארית אחת, כחול לנקודות שמעל הישר וכתום לנקודות שמתחתיו, והטבלה מפרטת את כולן יחד עם סכום הריבועים שלהן.
| x | y | ŷ חזוי | שארית y − ŷ |
|---|---|---|---|
| 1 | 4 | 2 | 2 |
| 2 | 2 | 3 | -1 |
| 3 | 2 | 4 | -2 |
| 4 | 5 | 5 | 0 |
| 5 | 6 | 6 | 0 |
| 6 | 8 | 7 | 1 |
| 8 | 9 | 9 | 0 |
כל קטע הוא שארית אחת: כחול מעל הישר, כתום מתחתיו. גררו נקודה וראו איך סכום הריבועים משתנה.
נצפה פחות חזוי
עבור נקודה עם קואורדינטות (x, y), הישר חוזה ערך שנכתב ŷ ונקרא "y כובע". השארית היא
e = y - ŷ
נצפה פחות חזוי, תמיד בסדר הזה.
קחו את חמש הנקודות x = 1, 2, 3, 4, 5 ו-y = 2, 4, 5, 4, 5. ישר הרגרסיה שלהן הוא y = 0.6x + 2.2. ב-x = 3 הישר חוזה 0.6 × 3 + 2.2 = 4, והנקודה האמיתית היא (3, 5), כך שהשארית היא 1. ב-x = 1 הוא חוזה 2.8 והנקודה היא (1, 2), כך שהשארית היא -0.8.
| x | y נצפה | ŷ חזוי | שארית | שארית² |
|---|---|---|---|---|
| 1 | 2 | 2.8 | -0.8 | 0.64 |
| 2 | 4 | 3.4 | 0.6 | 0.36 |
| 3 | 5 | 4 | 1 | 1 |
| 4 | 4 | 4.6 | -0.6 | 0.36 |
| 5 | 5 | 5.2 | -0.2 | 0.04 |
| סה"כ | 0 | 2.4 |
מה הסימן אומר
שארית חיובית אומרת שהנקודה נמצאת מעל הישר: הערך האמיתי היה גבוה מהחיזוי, כלומר הישר העריך בחסר. שארית שלילית אומרת שהנקודה מתחת לישר והישר הגזים בהערכה. שארית אפס אומרת שהנקודה נמצאת בדיוק על הישר.
הגודל נמדד ביחידות של y. אם y הוא ציון במבחן בנקודות, שארית של -0.8 אומרת שהתלמיד קיבל 0.8 נקודות פחות ממה שהישר חזה עבור ה-x שלו.
למה הן מסתכמות באפס
הסתכלו על עמודת השאריות בטבלה: -0.8, 0.6, 1, -0.6, -0.2. יחד הם מסתכמים בדיוק ב-0. זה לא מזל. זה קורה בכל ישר ריבועים פחותים עם חותך.
החותך של הישר הזה נבחר כ-b = ȳ - m x̄. חברו את השאריות y - (mx + b) על כל n הנקודות: ערכי y מסתכמים ב-nȳ, איברי mx מסתכמים ב-mnx̄, ואיברי b מסתכמים ב-nb. הציבו את הנוסחה של b ושלושת החלקים מבטלים זה את זה עד אפס. במילים: הישר ממוקם כך שהנקודות שמעליו והנקודות שמתחתיו מאזנות זו את זו בדיוק.
זו גם הסיבה שצריך להעלות את השאריות בריבוע לפני שהן יכולות למדוד משהו. הסכום הפשוט שלהן הוא תמיד 0, גם לישר טוב וגם לישר גרוע.
סכום ריבועי השאריות
העלו כל שארית בריבוע וחברו, ותקבלו את סכום ריבועי השאריות, שנכתב לעיתים קרובות SSE. עבור חמש הנקודות שלמעלה הוא 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.
ישר הרגרסיה מוגדר כישר שמקטין את המספר הזה ככל האפשר. כל ישר אחר מקבל תוצאה גרועה יותר. הישר y = 0.5x + 2.5 גם הוא עובר דרך נקודת הממוצעים (3, 4) ונראה כמעט זהה בגרף, אבל השאריות שלו הן -1, 0.5, 1, -0.5 ו-0, והריבועים שלהן מסתכמים ב-2.5. הישר y = x + 1 מקבל 4. המינימום, 2.4, שייך רק ל-y = 0.6x + 2.2.
להעלאה בריבוע יש תופעת לוואי שכדאי להכיר. שארית של 2 תורמת 4 לסכום ושארית של 4 תורמת 16, כך שנקודה אחת שרחוקה משאר הנקודות מושכת אליה את הישר כולו. גררו נקודה אחת לפינה של הגרף שלמעלה וראו את הסכום קופץ ואת הישר נוטה.
גרף שאריות
גרף שאריות שם את x על הציר האופקי ואת השארית של כל נקודה על הציר האנכי. הישר המותאם הופך לקו האופקי באפס, והשאלה נעשית פשוטה: האם נשאר דפוס כלשהו?
רצועה בלי דפוס אומרת שהישר מתאים. שאריות שמפוזרות מעל ומתחת לאפס בלי שום צורה, ברוחב דומה בכל x, אומרות שהישר תפס את המגמה ומה שנשאר הוא רעש.
עקומה אומרת שישר הוא הצורה הלא נכונה. התאימו ישר לריבועים 0, 1, 4, 9, 16 ו-25 ב-x = 0 עד 5 ותקבלו y = 5x - 10/3 עם r ≈ 0.9599, מה שנשמע כמו התאמה מצוינת. השאריות מספרות את האמת:
הן 10/3, -2/3, -8/3, -8/3, -2/3, 10/3: צורת U. הישר גבוה מדי באמצע ונמוך מדי בקצוות בכל פעם, וכך תמיד נראית התאמה של ישר לעקומה. פרבולה מתאימה לנקודות האלה בדיוק, וזה מה שמחשבון הרגרסיה הריבועית היה מוצא.
מניפה אומרת שהפיזור גדל. אם השאריות קטנות בקצה אחד וגדולות בקצה השני, הישר עדיין יכול להיות נכון בממוצע, אבל התחזיות שלו נעשות פחות מדויקות ככל ש-x גדל. נתונים שגדלים באחוזים, כמו מחירים או אוכלוסיות, נראים לעיתים קרובות כך, ומודל מעריכי הוא בדרך כלל הדבר הבא לנסות.
שאריות וחריגים
נקודה עם שארית גדולה במיוחד, הרבה מעל או מתחת לישר בהשוואה לאחרות, היא חריגה ב-y. שווה להסתכל עליה שוב: ייתכן שזו טעות הקלדה, או מקרה שבאמת שונה.
נקודה שרחוקה הרבה שמאלה או ימינה משאר הנקודות היא בעיה מסוג אחר. מכיוון שהישר מסתובב סביב נקודת הממוצעים, לנקודה רחוקה ב-x יש מנוף ארוך והיא יכולה למשוך אליה את הישר, מה שעשוי להשאיר לה שארית קטנה אף שהיא זו ששינתה את הישר יותר מכולן. לכן שארית קטנה לא מוכיחה שנקודה רגילה. בגרף שלמעלה, גררו את הנקודה הימנית ביותר ישר למטה וראו את הישר עוקב אחריה.
נסו בעצמכם
הישר חוזה 4.6 והנקודה נמצאת ב-4, כך שהנקודה נמצאת 0.6 מתחת לישר. אם קיבלתם 0.6, החיסור נעשה בכיוון ההפוך: זה תמיד נצפה פחות חזוי. עבור הנתונים שלכם, מחשבון הרגרסיה הלינארית נותן את הישר ואת סכום ריבועי השאריות שלו, והעמוד על מקדם המתאם מראה מה המשמעות של חוזק ההתאמה כמספר יחיד.
שאלות נפוצות
- מהי שארית ברגרסיה?
- המרחק האנכי מנקודת נתונים לישר המותאם: ה-y הנצפה פחות ה-y שהישר חוזה באותו x. אם נקודה היא (3, 5) והישר חוזה 4 ב-x = 3, השארית היא 5 פחות 4 = 1.
- איך מחשבים שארית?
- מציבים את ה-x של הנקודה במשוואת הישר כדי לקבל את הערך החזוי, ואז מחסירים את החיזוי הזה מה-y האמיתי של הנקודה. שארית = נצפה פחות חזוי. הסדר חשוב: חזוי פחות נצפה נותן את אותו גודל עם הסימן ההפוך.
- מה המשמעות של שארית שלילית?
- הנקודה נמצאת מתחת לישר, כלומר הישר חזה ערך גבוה מהערך שנצפה: הוא הגזים בהערכה. שארית חיובית אומרת שהנקודה מעל הישר והישר העריך בחסר. שארית 0 אומרת שהנקודה נמצאת בדיוק על הישר.
- למה סכום השאריות הוא אפס?
- בישר ריבועים פחותים עם חותך, זה תמיד כך. החותך נבחר כ-b = ממוצע y פחות m כפול ממוצע x, מה שמעביר את הישר דרך נקודת הממוצעים, וחיבור של y פחות (mx + b) על כל הנקודות נותן n כפול ממוצע y, פחות m כפול n כפול ממוצע x, פחות n כפול b, וזה בדיוק 0.
- איך צריך להיראות גרף שאריות טוב?
- רצועה אופקית בלי שום דפוס סביב האפס, רחבה בערך באותה מידה משמאל ומימין. עקומה בשאריות (צורת U או U הפוכה) אומרת שישר הוא הצורה הלא נכונה לנתונים. מניפה שמתרחבת לאורך הגרף אומרת שהתחזיות נעשות פחות אמינות ככל ש-x גדל.
- מהו סכום ריבועי השאריות?
- מעלים כל שארית בריבוע ומחברים. זה מודד כמה רחוקות הנקודות מהישר באופן כולל, וזה הגודל ששיטת הריבועים הפחותים מקטינה ככל האפשר. עבור x = 1 עד 5 ו-y = 2, 4, 5, 4, 5 לישר הריבועים הפחותים יש סכום ריבועי שאריות של 2.4, וכל ישר אחר מקבל יותר.
רוצים להריץ את זה על המספרים שלכם?
מחשבון רגרסיה לינארית פתיחת המחשבון