Menu

Regresja liniowa: prosta najlepszego dopasowania

Przez każdą chmurę punktów przechodzi dokładnie jedna prosta, która mija je najmniej, mierząc metodą najmniejszych kwadratów. Przeciągaj punkty, a ona przesuwa się, żeby dalej być najlepsza.

Autor: Nethanel Bar, Współzałożyciel i CEO

Ostatnia aktualizacja

Narysuj jakiekolwiek prawdziwe dane, a punkty nie chcą leżeć na jednej prostej. Nadal można przez tę chmurę poprowadzić prostą, która oddaje trend, a różne osoby z linijkami narysują nieco inne proste. Prosta najlepszego dopasowania rozstrzyga spór: istnieje jedna prosta, najlepsza według dokładnej miary, i wzór, który ją znajduje.

Przeciągnij dowolny punkt poniżej, a prosta przesunie się, żeby dalej być najlepiej dopasowana. Odciągnij jeden punkt daleko od pozostałych i zobacz, jak mocno przyciąga prostą do siebie.

y = x + 1nachylenie1wyraz wolny1

Przeciągnij dowolny punkt, a prosta przesunie się, żeby dalej być najlepiej dopasowana. Najmocniej ciągną ją punkty dalekie od reszty.

Co znaczy "najlepsza"

Prosta mija każdy punkt o pewną odległość w pionie: rzeczywiste y punktu minus y, które prosta przewiduje dla tego x. Ta odległość to reszta punktu. Dobra prosta powinna dawać małe reszty, ale nie można ich po prostu zsumować, bo odchylenia nad prostą są dodatnie, a pod nią ujemne, i się znoszą.

Dlatego każdą resztę najpierw podnosi się do kwadratu, dzięki czemu każde odchylenie się liczy, a duże odchylenie liczy się znacznie bardziej niż małe. Prosta najlepszego dopasowania to prosta, dla której suma kwadratów reszt jest najmniejsza z możliwych. Dlatego nazywa się ją prostą najmniejszych kwadratów, a dla każdego zbioru punktów, których wartości x nie są wszystkie równe, istnieje dokładnie jedna taka prosta.

Dwa wzory

Zapisz prostą jako y = mx + b, a średnie danych jako x̄ i ȳ. Minimalizacja sumy kwadratów daje bezpośrednio nachylenie i wyraz wolny:

m = Σ(x - x̄)(y - ȳ) / Σ(x - x̄)²

b = ȳ - m x̄

Licznik wzoru na nachylenie to ta sama suma iloczynów, która stoi w liczniku współczynnika korelacji, i dlatego nachylenie i r mają zawsze ten sam znak. Mianownik zależy tylko od x: mierzy, jak bardzo rozrzucone są wartości x.

Przykład

Pięć punktów: x = 2, 4, 6, 8, 10 i y = 3, 7, 8, 12, 15. Średnia x wynosi 6, a średnia y wynosi 9.

xyx - 6y - 9iloczyn(x - 6)²
23-4-62416
47-2-244
680-100
8122364
1015462416
suma5840

Nachylenie to m = 58/40 = 29/20, czyli 1.45. Żeby znaleźć wyraz wolny, wstaw punkt średnich do równania prostej i wyznacz b:

Zatem b = 3/10, a prosta najlepszego dopasowania to y = 1.45x + 0.3. Kalkulator regresji liniowej wykonuje tę samą pracę za pomocą wzorów z sumami bieżącymi i pokazuje każdą sumę.

Zawsze przechodzi przez punkt średnich

Przekształć wzór na wyraz wolny, a dostaniesz ȳ = m x̄ + b. To oznacza, że punkt (x̄, ȳ) leży dokładnie na prostej, niezależnie od danych. W przykładzie 1.45 × 6 + 0.3 = 9.

To przydatne sprawdzenie każdej obliczonej prostej i dobry początek, gdy rysujesz ją na oko: najpierw zaznacz punkt średnich, a potem obracaj wokół niego linijkę, aż punkty będą zrównoważone po obu stronach.

Samo przejście przez punkt średnich jednak nie wystarcza. Dla x = 1, 2, 3, 4, 5 i y = 2, 4, 5, 4, 5 punkt średnich to (3, 4), a prosta najmniejszych kwadratów to y = 0.6x + 2.2, z sumą kwadratów reszt równą 2.4. Proste y = 0.5x + 2.5 i y = x + 1 też przechodzą przez (3, 4), a ich sumy kwadratów to 2.5 i 4. Spośród wszystkich prostych przez ten punkt tylko nachylenie 0.6 schodzi do 2.4.

Przewidywanie za pomocą prostej

Gdy masz już prostą, prognoza to podstawienie. Dla y = 1.45x + 0.3 x równe 7 daje 1.45 × 7 + 0.3 = 10.45.

Ta prognoza to interpolacja: 7 leży w zakresie danych, między punktami dla 6 i 8, więc po obu stronach są dowody, że trend tam obowiązuje. Prognoza poza zakresem danych to ekstrapolacja i nic w danych jej nie wspiera.

Konkretny przypadek. Sześcioro uczniów uczyło się od 1 do 6 godzin i uzyskało 52, 58, 61, 67, 70 i 76 punktów. Prosta najlepszego dopasowania to y = 162/35x + 47.8, z nachyleniem około 4.63 punktu na godzinę i r ≈ 0.9959. W zakresie danych przewiduje dobrze: 4.5 godziny daje około 68.63. Ekstrapoluj do 12 godzin, a przewidzi około 103.34 na teście ocenianym w skali do 100 punktów. Prosta jest w porządku; opisywany przez nią trend po prostu kończy się gdzieś poza danymi, a prosta nie może wiedzieć gdzie.

Kiedy prosta ma zły kształt

Prosta najlepszego dopasowania istnieje zawsze, nawet gdy prosta to zły model. Kwadraty 0, 1, 4, 9, 16, 25 dla x = 0 do 5 mają prostą najlepszego dopasowania y = 5x - 10/3 z r ≈ 0.9599, co brzmi świetnie, a jednak punkty leżą na krzywej. Zdradzają to reszty: dodatnie na obu końcach i ujemne w środku. Strona o resztach pokazuje, jak czytać taki wzór, a kalkulator regresji kwadratowej dopasowuje zamiast tego krzywą.

Rozwiąż jedno zadanie

Rzeczywisty punkt dla x = 4 to (4, 7), więc prosta mija go o 0.9. To odchylenie to reszta punktu, a suma kwadratów wszystkich pięciu odchyleń, 1.9, to najmniejsza wartość, jaką może osiągnąć jakakolwiek prosta dla tych punktów.

Częste pytania

Co to jest prosta najlepszego dopasowania?
Prosta narysowana przez wykres punktowy, która podsumowuje trend punktów. Prosta najlepszego dopasowania w ścisłym sensie to prosta regresji wyznaczona metodą najmniejszych kwadratów: spośród wszystkich możliwych prostych ta, dla której pionowe odchylenia od punktów, podniesione do kwadratu i zsumowane, dają najmniejszą sumę.
Jak wyznaczyć prostą regresji?
Znajdź średnią x i średnią y. Nachylenie to suma iloczynów (x minus średnia x) razy (y minus średnia y), podzielona przez sumę kwadratów (x minus średnia x). Wyraz wolny to średnia y minus nachylenie razy średnia x. Dla x = 2, 4, 6, 8, 10 i y = 3, 7, 8, 12, 15 daje to nachylenie 58/40 = 1.45 i wyraz wolny 9 minus 1.45 × 6 = 0.3, czyli y = 1.45x + 0.3.
Czy prosta regresji musi przechodzić przez początek układu?
Nie. Przechodzi przez punkt średnich, a nie przez początek układu. Wymuszenie przejścia przez (0, 0) to inny model, używany tylko wtedy, gdy jest powód, by y było równe 0 dla x równego 0, i zwykle gorzej pasuje do punktów.
Czy prosta regresji musi przechodzić przez któryś z punktów?
Nie, i zwykle nie przechodzi przez żaden. Jedyny punkt, przez który zawsze przechodzi, to (średnia x, średnia y), a ten punkt często nie jest żadnym z punktów danych. Prosta narysowana tak, żeby dotknąć jak największej liczby punktów, nie jest prostą najmniejszych kwadratów.
Czym różni się interpolacja od ekstrapolacji?
Interpolacja to przewidywanie y dla x z zakresu danych, gdzie prosta ma punkty po obu stronach, które ją wspierają. Ekstrapolacja to przewidywanie poza tym zakresem, gdzie nic w danych nie mówi, że trend trwa dalej. Interpolacja jest zwykle wiarygodna, gdy dopasowanie jest dobre; ekstrapolacja może się bardzo mylić nawet przy r bliskim 1.
Czy prosta najlepszego dopasowania to to samo co regresja liniowa?
Tak, w zwykłym sensie. Regresja liniowa to metoda, a prosta najmniejszych kwadratów, którą ona wyznacza, to prosta najlepszego dopasowania. Prostą narysowaną na oko na wykresie w szkole też nazywa się linią trendu, ale to tylko przybliżenie prostej regresji, a nie ona sama.

Powiązane pojęcia

Ilustracja języków programowania w Coddy

Ucz się matematyki z Coddy

ZACZNIJ