Residuen
Ein Residuum gibt an, wie weit ein Punkt über oder unter der Ausgleichsgeraden liegt. Jedes ist eine kleine Subtraktion, und zusammen verraten sie, ob die Gerade etwas taugt.
Zuletzt aktualisiert
Eine Ausgleichsgerade sagt für jedes x einen y-Wert voraus. Die meisten Punkte landen nicht genau darauf, und die Lücke zwischen dem, was ein Punkt tatsächlich ist, und dem, was er laut Gerade sein sollte, ist das Residuum dieses Punktes. Es ist die einfachste Größe der Regression, eine einzige Subtraktion, und am Lesen der Residuen erkennst du, ob eine Gerade passt oder nur so aussieht.
Zieh die Punkte unten. Jede senkrechte Strecke ist ein Residuum, blau für Punkte über der Geraden und orange für Punkte darunter, und die Tabelle listet jedes einzelne mit der Summe ihrer Quadrate auf.
| x | y | vorhergesagt ŷ | Residuum y − ŷ |
|---|---|---|---|
| 1 | 4 | 2 | 2 |
| 2 | 2 | 3 | -1 |
| 3 | 2 | 4 | -2 |
| 4 | 5 | 5 | 0 |
| 5 | 6 | 6 | 0 |
| 6 | 8 | 7 | 1 |
| 8 | 9 | 9 | 0 |
Jede Strecke ist ein Residuum: blau über der Geraden, orange darunter. Zieh einen Punkt und sieh, wie sich die Quadratsumme ändert.
Beobachtet minus vorhergesagt
Für einen Punkt mit den Koordinaten (x, y) sagt die Gerade einen Wert voraus, den man ŷ schreibt und „y Dach“ liest. Das Residuum ist
e = y - ŷ
beobachtet minus vorhergesagt, immer in dieser Reihenfolge.
Nimm die fünf Punkte x = 1, 2, 3, 4, 5 und y = 2, 4, 5, 4, 5. Ihre Ausgleichsgerade ist y = 0.6x + 2.2. Bei x = 3 sagt die Gerade 0,6 × 3 + 2,2 = 4 voraus, und der tatsächliche Punkt ist (3, 5), das Residuum ist also 1. Bei x = 1 sagt sie 2,8 voraus, und der Punkt ist (1, 2), das Residuum ist also -0,8.
| x | beobachtetes y | vorhergesagtes ŷ | Residuum | Residuum² |
|---|---|---|---|---|
| 1 | 2 | 2.8 | -0.8 | 0.64 |
| 2 | 4 | 3.4 | 0.6 | 0.36 |
| 3 | 5 | 4 | 1 | 1 |
| 4 | 4 | 4.6 | -0.6 | 0.36 |
| 5 | 5 | 5.2 | -0.2 | 0.04 |
| Summe | 0 | 2.4 |
Was das Vorzeichen sagt
Ein positives Residuum heißt, dass der Punkt über der Geraden liegt: Der tatsächliche Wert war höher als vorhergesagt, die Gerade hat ihn also unterschätzt. Ein negatives Residuum heißt, dass der Punkt unter der Geraden liegt und die Gerade überschätzt hat. Ein Residuum von null heißt, dass der Punkt genau auf der Geraden liegt.
Der Betrag hat die Einheit von y. Ist y eine Testpunktzahl, heißt ein Residuum von -0,8, dass die Person 0,8 Punkte unter dem lag, was die Gerade für ihr x vorhergesagt hat.
Warum ihre Summe null ist
Sieh dir die Spalte der Residuen in der Tabelle an: -0,8; 0,6; 1; -0,6 und -0,2 ergeben zusammen genau 0. Das ist kein Glück. Es passiert bei jeder Geraden der kleinsten Quadrate mit Achsenabschnitt.
Der Achsenabschnitt dieser Geraden wird als b = ȳ - m x̄ gewählt. Addiere die Residuen y - (mx + b) über alle n Punkte: Die y-Werte ergeben nȳ, die Terme mx ergeben mnx̄, und die Terme b ergeben nb. Setz die Formel für b ein, und die drei Teile heben sich zu null auf. In Worten: Die Gerade liegt so, dass sich die Punkte über ihr und die Punkte unter ihr genau ausgleichen.
Deshalb müssen die Residuen auch quadriert werden, bevor sie irgendetwas messen können. Ihre einfache Summe ist immer 0, bei einer guten Geraden genauso wie bei einer schlechten.
Die Summe der Residuenquadrate
Quadriere jedes Residuum und addiere, und du bekommst die Summe der Residuenquadrate, oft SSE geschrieben. Für die fünf Punkte oben ist sie 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.
Die Ausgleichsgerade ist als die Gerade definiert, die diese Zahl so klein wie möglich macht. Jede andere Gerade schneidet schlechter ab. Die Gerade y = 0.5x + 2.5 geht ebenfalls durch den Mittelwertpunkt (3, 4) und sieht im Diagramm fast gleich aus, aber ihre Residuen sind -1; 0,5; 1; -0,5 und 0, und ihre Quadrate ergeben 2,5. Die Gerade y = x + 1 kommt auf 4. Das Minimum, 2,4, gehört allein zu y = 0.6x + 2.2.
Das Quadrieren hat eine Nebenwirkung, die du kennen solltest. Ein Residuum von 2 trägt 4 zur Summe bei und ein Residuum von 4 trägt 16 bei, ein einzelner Punkt weit weg vom Rest zieht also die ganze Gerade zu sich. Zieh im Diagramm oben einen einzelnen Punkt in eine Ecke und sieh zu, wie die Summe springt und die Gerade kippt.
Residuenplots
Ein Residuenplot trägt x auf der waagerechten Achse und das Residuum jedes Punktes auf der senkrechten auf. Die angepasste Gerade wird zur waagerechten Linie bei null, und die Frage wird einfach: Ist noch irgendein Muster übrig?
Ein Band ohne Muster heißt, dass die Gerade passt. Residuen, die ohne Form über und unter null verstreut sind und bei jedem x etwa gleich breit, sagen, dass die Gerade den Trend erfasst hat und der Rest Rauschen ist.
Eine Kurve heißt, dass eine Gerade die falsche Form hat. Leg eine Gerade durch die Quadratzahlen 0, 1, 4, 9, 16 und 25 bei x = 0 bis 5, und du bekommst y = 5x - 10/3 mit r ≈ 0,9599, was nach einer hervorragenden Anpassung klingt. Die Residuen sagen die Wahrheit:
Sie verlaufen 10/3, -2/3, -8/3, -8/3, -2/3, 10/3: ein U. Die Gerade liegt in der Mitte jedes Mal zu hoch und an den Enden zu niedrig, und genau so sieht es immer aus, wenn man eine Gerade an eine Kurve anpasst. Eine Parabel passt exakt zu diesen Punkten, und genau die würde der Rechner für quadratische Regression finden.
Ein Fächer heißt, dass die Streuung wächst. Sind die Residuen an einem Ende klein und am anderen groß, kann die Gerade im Mittel trotzdem stimmen, aber ihre Vorhersagen werden mit wachsendem x ungenauer. Daten, die prozentual wachsen, etwa Preise oder Bevölkerungszahlen, sehen oft so aus, und ein exponentielles Modell ist dann der übliche nächste Versuch.
Residuen und Ausreißer
Ein Punkt mit einem ungewöhnlich großen Residuum, weit über oder unter der Geraden im Vergleich zu den anderen, ist ein Ausreißer in y. Er verdient einen zweiten Blick: Vielleicht ist es ein Tippfehler, vielleicht ein Fall, der wirklich anders ist.
Ein Punkt weit links oder rechts vom Rest ist ein anderes Problem. Weil sich die Gerade um den Mittelwertpunkt dreht, hat ein Punkt weit draußen in x einen langen Hebel und kann die Gerade zu sich ziehen. Dadurch kann er ein kleines Residuum haben, obwohl er die Gerade am stärksten verändert hat. Ein kleines Residuum beweist also nicht, dass ein Punkt gewöhnlich ist. Zieh im Diagramm oben den Punkt ganz rechts gerade nach unten und sieh zu, wie die Gerade ihm folgt.
Probier eine
Die Gerade sagt 4,6 voraus und der Punkt liegt bei 4, er liegt also 0,6 unter der Geraden. Wenn du 0,6 herausbekommen hast, wurde andersherum subtrahiert: Es heißt immer beobachtet minus vorhergesagt. Für deine eigenen Daten liefert der Rechner für lineare Regression die Gerade und ihre Summe der Residuenquadrate, und die Seite zum Korrelationskoeffizienten zeigt, was die Stärke der Anpassung als einzelne Zahl bedeutet.
Häufige Fragen
- Was ist ein Residuum?
- Der senkrechte Abstand eines Datenpunktes von der angepassten Geraden: das beobachtete y minus das y, das die Gerade an dieser Stelle x vorhersagt. Ist ein Punkt (3, 5) und sagt die Gerade bei x = 3 den Wert 4 voraus, ist das Residuum 5 minus 4 = 1.
- Wie berechnet man ein Residuum?
- Setz das x des Punktes in die Geradengleichung ein, um den vorhergesagten Wert zu bekommen, und zieh diese Vorhersage vom tatsächlichen y des Punktes ab. Residuum = beobachtet minus vorhergesagt. Die Reihenfolge zählt: vorhergesagt minus beobachtet ergibt denselben Betrag mit dem falschen Vorzeichen.
- Was bedeutet ein negatives Residuum?
- Der Punkt liegt unter der Geraden, die Gerade hat also einen höheren Wert vorhergesagt als den beobachteten: Sie hat überschätzt. Ein positives Residuum heißt, dass der Punkt über der Geraden liegt und die Gerade unterschätzt hat. Ein Residuum von 0 heißt, dass der Punkt genau auf der Geraden liegt.
- Warum ergeben die Residuen zusammen null?
- Bei einer Geraden der kleinsten Quadrate mit Achsenabschnitt tun sie das immer. Der Achsenabschnitt wird als b = Mittelwert von y minus m mal Mittelwert von x gewählt, und das legt die Gerade durch den Mittelwertpunkt. Addiert man dann y minus (mx + b) über alle Punkte, bekommt man n mal den Mittelwert von y, minus m mal n mal den Mittelwert von x, minus n mal b, und das ist genau 0.
- Wie sollte ein guter Residuenplot aussehen?
- Wie ein waagerechtes Band ohne Muster um null, links etwa so breit wie rechts. Eine Kurve in den Residuen (ein U oder ein umgedrehtes U) heißt, dass eine Gerade die falsche Form für die Daten hat. Ein Fächer, der sich über das Diagramm hinweg öffnet, heißt, dass die Vorhersagen mit wachsendem x unzuverlässiger werden.
- Was ist die Summe der Residuenquadrate?
- Quadriere jedes Residuum und addiere. Sie misst, wie weit die Punkte insgesamt von der Geraden entfernt liegen, und genau diese Größe macht die Methode der kleinsten Quadrate so klein wie möglich. Für x = 1 bis 5 und y = 2, 4, 5, 4, 5 hat die Gerade der kleinsten Quadrate eine Summe der Residuenquadrate von 2,4, und jede andere Gerade kommt auf mehr.
Mit deinen eigenen Zahlen ausprobieren?
Rechner für lineare Regression Rechner öffnen