잔차란 무엇인가

회귀직선은 모든 x에 대해 y 값을 예측합니다. 대부분의 점은 정확히 직선 위에 떨어지지 않고, 점의 실제 값과 직선이 말하는 값 사이의 차이가 그 점의 잔차입니다. 회귀에서 가장 단순한 양이고 뺄셈 한 번이면 되지만, 잔차를 읽을 줄 알아야 정말 맞는 직선과 맞는 것처럼 보이기만 하는 직선을 구별할 수 있습니다.

아래 점들을 끌어 보세요. 세로 선분 하나하나가 잔차 하나이고, 직선 위의 점은 파란색, 아래의 점은 주황색입니다. 표에는 모든 잔차와 그 제곱의 합이 나옵니다.

관측값 빼기 예측값

좌표가 (x, y)인 점에 대해 직선이 예측한 값을 ŷ로 쓰고 "와이 햇"이라고 읽습니다. 잔차는

e = y - ŷ

관측값에서 예측값을 뺀 것이고, 순서는 언제나 이렇습니다.

점 다섯 개 x = 1, 2, 3, 4, 5와 y = 2, 4, 5, 4, 5를 봅시다. 회귀직선은 y = 0.6x + 2.2입니다. x = 3에서 직선은 0.6 × 3 + 2.2 = 4를 예측하고 실제 점은 (3, 5)이므로 잔차는 1입니다. x = 1에서는 2.8을 예측하고 점은 (1, 2)이므로 잔차는 -0.8입니다.

부호가 알려 주는 것

잔차가 양수면 점이 직선 위에 있습니다. 실제 값이 예측보다 높았으니 직선이 과소추정한 것입니다. 잔차가 음수면 점이 직선 아래에 있고 직선이 과대추정한 것입니다. 잔차가 0이면 점이 정확히 직선 위에 있습니다.

크기는 y의 단위입니다. y가 점수로 나타낸 시험 성적이라면, 잔차 -0.8은 그 학생이 자기 x에 대해 직선이 예측한 것보다 0.8점 낮게 받았다는 뜻입니다.

잔차의 합이 0인 이유

표의 잔차 열을 보세요. -0.8, 0.6, 1, -0.6, -0.2를 더하면 정확히 0입니다. 운이 아닙니다. 절편이 있는 모든 최소제곱 직선에서 일어나는 일입니다.

그 직선의 절편은 b = ȳ - m x̄로 정해집니다. n개의 점 모두에 대해 잔차 y - (mx + b)를 더하면, y 값들의 합은 nȳ, mx 항들의 합은 mnx̄, b 항들의 합은 nb입니다. b의 공식을 대입하면 세 부분이 상쇄되어 0이 됩니다. 말로 하면, 직선은 그 위의 점들과 아래의 점들이 정확히 균형을 이루도록 놓입니다.

잔차를 제곱해야만 무언가를 잴 수 있는 이유도 이것입니다. 그냥 더한 합은 좋은 직선이든 나쁜 직선이든 언제나 0입니다.

잔차제곱합

각 잔차를 제곱해 더하면 잔차제곱합이 나오고, 흔히 SSE라고 씁니다. 위의 다섯 점이라면 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4입니다.

회귀직선은 이 수를 가장 작게 만드는 직선으로 정의됩니다. 다른 어떤 직선도 이보다 나쁩니다. 직선 y = 0.5x + 2.5도 평균점 (3, 4)를 지나고 그래프에서는 거의 똑같아 보이지만, 잔차는 -1, 0.5, 1, -0.5, 0이고 그 제곱의 합은 2.5입니다. 직선 y = x + 1은 4입니다. 최솟값 2.4는 오직 y = 0.6x + 2.2의 것입니다.

제곱에는 알아 둘 만한 부작용이 있습니다. 잔차 2는 합에 4를, 잔차 4는 16을 보태므로, 나머지에서 멀리 떨어진 점 하나가 직선 전체를 자기 쪽으로 끌어당깁니다. 위 그래프에서 점 하나를 모서리로 끌어 보고, 합이 뛰어오르고 직선이 기우는 것을 보세요.

잔차 그래프

잔차 그래프는 가로축에 x를, 세로축에 각 점의 잔차를 놓습니다. 맞춘 직선은 0에 있는 가로선이 되고, 질문은 간단해집니다. 남아 있는 패턴이 있는가?

무늬 없는 띠라면 직선이 맞는다는 뜻입니다. 잔차가 0의 위아래로 아무 모양 없이 흩어져 있고 어느 x에서나 폭이 비슷하다면, 직선이 추세를 잡아냈고 남은 것은 잡음이라는 뜻입니다.

휘어 있다면 직선이 틀린 모양입니다. x = 0부터 5에서 제곱수 0, 1, 4, 9, 16, 25에 직선을 맞추면 y = 5x - 10/3, r ≈ 0.9599가 나와 아주 잘 맞는 것처럼 들립니다. 잔차는 사실을 말해 줍니다.

잔차는 10/3, -2/3, -8/3, -8/3, -2/3, 10/3으로 U자를 이룹니다. 직선은 가운데서는 번번이 너무 높고 양 끝에서는 너무 낮은데, 곡선에 직선을 맞추면 언제나 이렇게 보입니다. 포물선은 이 점들에 정확히 맞고, 이차회귀 계산기가 찾아내는 것이 바로 그것입니다.

부채꼴이라면 흩어짐이 커진다는 뜻입니다. 잔차가 한쪽 끝에서는 작고 다른 쪽 끝에서는 크다면, 직선은 평균적으로는 맞을지 몰라도 x가 커질수록 예측이 덜 정밀해집니다. 가격이나 인구처럼 퍼센트로 증가하는 데이터가 흔히 이렇게 보이며, 보통 다음으로 시도할 것은 지수 모형입니다.

잔차와 이상값

다른 점들에 비해 직선보다 훨씬 위나 아래에 있어 잔차가 유난히 큰 점은 y의 이상값입니다. 다시 살펴볼 만합니다. 입력 실수일 수도 있고, 정말로 다른 경우일 수도 있습니다.

나머지보다 훨씬 왼쪽이나 오른쪽에 있는 점은 다른 종류의 문제입니다. 직선은 평균점을 중심으로 돌기 때문에 x가 멀리 떨어진 점은 긴 지렛대를 가지고 직선을 자기 쪽으로 끌어당길 수 있고, 그래서 직선을 가장 많이 바꿨는데도 잔차는 작게 남을 수 있습니다. 그러니 잔차가 작다고 그 점이 평범하다는 증거는 아닙니다. 위 그래프에서 가장 오른쪽 점을 곧장 아래로 끌어 보고, 직선이 따라오는 것을 보세요.

하나 풀어 보기

회귀직선이 y = 0.6x + 2.2이고, 데이터 점 하나가 (4, 4)입니다. 이 점의 잔차는 얼마인가요?

직선은 4.6을 예측하고 점은 4에 있으므로, 점은 직선보다 0.6 아래에 있습니다. 0.6이 나왔다면 뺄셈을 거꾸로 한 것입니다. 언제나 관측값에서 예측값을 뺍니다. 여러분의 데이터라면 선형회귀 계산기가 직선과 잔차제곱합을 알려 주고, 상관계수 페이지는 맞춤의 세기가 수 하나로 무엇을 뜻하는지 보여 줍니다.