Reszty w regresji liniowej

Prosta najlepszego dopasowania przewiduje wartość y dla każdego x. Większość punktów nie leży dokładnie na niej, a różnica między tym, ile punkt naprawdę wynosi, a tym, ile według prostej powinien wynosić, to reszta tego punktu. To najprostsza wielkość w regresji, jedno odejmowanie, a czytanie reszt pozwala odróżnić prostą, która pasuje, od prostej, która tylko na taką wygląda.

Przeciągaj punkty poniżej. Każdy pionowy odcinek to jedna reszta, niebieska dla punktów nad prostą i pomarańczowa dla punktów pod nią, a tabela wypisuje wszystkie reszty razem z sumą ich kwadratów.

Obserwowane minus przewidywane

Dla punktu o współrzędnych (x, y) prosta przewiduje wartość zapisywaną jako ŷ, czytaną "y z daszkiem". Reszta to

e = y - ŷ

wartość obserwowana minus przewidywana, zawsze w tej kolejności.

Weź pięć punktów: x = 1, 2, 3, 4, 5 i y = 2, 4, 5, 4, 5. Ich prosta najlepszego dopasowania to y = 0.6x + 2.2. Dla x = 3 prosta przewiduje 0.6 × 3 + 2.2 = 4, a rzeczywisty punkt to (3, 5), więc reszta wynosi 1. Dla x = 1 przewiduje 2.8, a punkt to (1, 2), więc reszta wynosi -0.8.

Co mówi znak

Dodatnia reszta oznacza, że punkt leży nad prostą: rzeczywista wartość była wyższa od przewidywanej, więc prosta ją niedoszacowała. Ujemna reszta oznacza, że punkt leży pod prostą, a prosta przeszacowała. Reszta równa zero oznacza, że punkt leży dokładnie na prostej.

Wielkość reszty wyraża się w jednostkach y. Jeśli y to wynik testu w punktach, reszta -0.8 oznacza, że wynik ucznia jest o 0.8 punktu niższy od tego, co prosta przewidywała dla jego x.

Dlaczego sumują się do zera

Spójrz na kolumnę reszt w tabeli: -0.8, 0.6, 1, -0.6 i -0.2 dają w sumie dokładnie 0. To nie szczęście. Tak jest dla każdej prostej najmniejszych kwadratów z wyrazem wolnym.

Wyraz wolny tej prostej wybiera się jako b = ȳ - m x̄. Dodaj reszty y - (mx + b) dla wszystkich n punktów: wartości y sumują się do nȳ, wyrazy mx do mnx̄, a wyrazy b do nb. Wstaw wzór na b, a trzy części zredukują się do zera. Mówiąc słowami: prosta jest ustawiona tak, żeby punkty nad nią i pod nią dokładnie się równoważyły.

Dlatego też reszty trzeba podnieść do kwadratu, zanim będą mogły cokolwiek zmierzyć. Ich zwykła suma zawsze wynosi 0, zarówno dla dobrej, jak i dla złej prostej.

Suma kwadratów reszt

Podnieś każdą resztę do kwadratu i dodaj wyniki, a dostaniesz sumę kwadratów reszt, często oznaczaną SSE. Dla pięciu punktów powyżej wynosi ona 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.

Prosta najlepszego dopasowania jest zdefiniowana jako prosta, dla której ta liczba jest jak najmniejsza. Każda inna prosta wypada gorzej. Prosta y = 0.5x + 2.5 też przechodzi przez punkt średnich (3, 4) i na wykresie wygląda prawie tak samo, ale jej reszty to -1, 0.5, 1, -0.5 i 0, a ich kwadraty dają w sumie 2.5. Prosta y = x + 1 daje 4. Minimum, 2.4, należy wyłącznie do y = 0.6x + 2.2.

Podnoszenie do kwadratu ma skutek uboczny, który warto znać. Reszta 2 dokłada do sumy 4, a reszta 4 dokłada 16, więc jeden punkt daleko od reszty przyciąga całą prostą do siebie. Przeciągnij jeden punkt do rogu wykresu powyżej i zobacz, jak suma skacze, a prosta się przechyla.

Wykresy reszt

Wykres reszt ma x na osi poziomej, a resztę każdego punktu na osi pionowej. Dopasowana prosta zamienia się w poziomą linię na wysokości zero, a pytanie staje się proste: czy został jeszcze jakiś wzór?

Wstęga bez wzoru oznacza, że prosta pasuje. Reszty rozrzucone nad zerem i pod nim bez żadnego kształtu, mniej więcej równie szeroko przy każdym x, mówią, że prosta uchwyciła trend, a to, co zostało, to szum.

Łuk oznacza, że prosta ma zły kształt. Dopasuj prostą do kwadratów 0, 1, 4, 9, 16 i 25 dla x = 0 do 5, a dostaniesz y = 5x - 10/3 z r ≈ 0.9599, co brzmi jak świetne dopasowanie. Reszty mówią prawdę:

Wynoszą 10/3, -2/3, -8/3, -8/3, -2/3, 10/3: układają się w U. Prosta za każdym razem jest za wysoko w środku i za nisko na końcach, a tak zawsze wygląda dopasowanie prostej do krzywej. Parabola przechodzi dokładnie przez te punkty i właśnie ją znalazłby kalkulator regresji kwadratowej.

Wachlarz oznacza, że rozrzut rośnie. Jeśli reszty są małe na jednym końcu i duże na drugim, prosta może nadal być poprawna średnio, ale jej przewidywania tracą precyzję wraz ze wzrostem x. Tak często wyglądają dane rosnące o pewien procent, na przykład ceny czy liczebność populacji, a zwykle następnym krokiem jest wtedy model wykładniczy.

Reszty i obserwacje odstające

Punkt z nietypowo dużą resztą, leżący dużo wyżej lub niżej od prostej niż pozostałe, jest obserwacją odstającą w y. Warto przyjrzeć mu się jeszcze raz: może to być literówka przy wpisywaniu danych albo przypadek, który naprawdę jest inny.

Punkt leżący daleko na lewo lub na prawo od pozostałych to problem innego rodzaju. Ponieważ prosta obraca się wokół punktu średnich, punkt daleko w x ma długie ramię dźwigni i może przyciągnąć prostą do siebie. Wtedy może mieć małą resztę, choć to właśnie on najbardziej zmienił prostą. Mała reszta nie dowodzi więc, że punkt jest zwyczajny. Na wykresie powyżej przeciągnij skrajny prawy punkt prosto w dół i zobacz, jak prosta podąża za nim.

Twoja kolej

Prosta najlepszego dopasowania to y = 0.6x + 2.2, a jeden z punktów danych to (4, 4). Ile wynosi reszta tego punktu?

Prosta przewiduje 4.6, a punkt jest na wysokości 4, więc leży 0.6 pod prostą. Jeśli wychodzi ci 0.6, odejmowanie jest w złej kolejności: zawsze liczy się wartość obserwowaną minus przewidywaną. Dla własnych danych kalkulator regresji liniowej poda prostą i jej sumę kwadratów reszt, a strona o współczynniku korelacji pokazuje, co oznacza siła dopasowania wyrażona jedną liczbą.