Phần dư

Một đường hồi quy dự đoán một giá trị y cho mỗi x. Hầu hết các điểm không nằm đúng trên đó, và khoảng chênh giữa giá trị thực của một điểm với giá trị mà đường thẳng nói nó phải có chính là phần dư của điểm đó. Đây là đại lượng đơn giản nhất trong hồi quy, chỉ một phép trừ, và đọc phần dư là cách bạn phân biệt một đường thẳng thực sự khớp với một đường chỉ trông có vẻ khớp.

Kéo các điểm bên dưới. Mỗi đoạn thẳng đứng là một phần dư, màu xanh cho các điểm nằm trên đường thẳng và màu cam cho các điểm nằm dưới, và bảng liệt kê từng phần dư cùng tổng bình phương của chúng.

Giá trị quan sát trừ giá trị dự đoán

Với một điểm có tọa độ (x, y), đường thẳng dự đoán một giá trị ký hiệu là ŷ, đọc là "y mũ". Phần dư là

e = y - ŷ

giá trị quan sát trừ giá trị dự đoán, luôn theo thứ tự đó.

Lấy năm điểm x = 1, 2, 3, 4, 5 và y = 2, 4, 5, 4, 5. Đường hồi quy của chúng là y = 0.6x + 2.2. Tại x = 3, đường thẳng dự đoán 0,6 × 3 + 2,2 = 4, và điểm thực là (3, 5), nên phần dư là 1. Tại x = 1, nó dự đoán 2,8 và điểm là (1, 2), nên phần dư là -0,8.

Dấu cho bạn biết điều gì

Phần dư dương nghĩa là điểm nằm trên đường thẳng: giá trị thực cao hơn giá trị dự đoán, nên đường thẳng đã ước lượng quá thấp. Phần dư âm nghĩa là điểm nằm dưới đường thẳng và đường thẳng đã ước lượng quá cao. Phần dư bằng 0 nghĩa là điểm nằm đúng trên đường thẳng.

Độ lớn có cùng đơn vị với y. Nếu y là điểm bài kiểm tra, phần dư -0,8 nghĩa là học sinh đạt thấp hơn 0,8 điểm so với mức đường thẳng dự đoán cho x của em đó.

Vì sao tổng các phần dư bằng 0

Nhìn vào cột phần dư trong bảng: -0,8, 0,6, 1, -0,6 và -0,2 cộng lại đúng bằng 0. Đó không phải may mắn. Điều này xảy ra với mọi đường bình phương nhỏ nhất có tung độ gốc.

Tung độ gốc của đường thẳng đó được chọn là b = ȳ - m x̄. Cộng các phần dư y - (mx + b) trên cả n điểm: các giá trị y cộng lại được nȳ, các số hạng mx cộng lại được mnx̄, và các số hạng b cộng lại được nb. Thay công thức của b vào, ba phần triệt tiêu nhau về 0. Nói bằng lời: đường thẳng được đặt sao cho các điểm phía trên và các điểm phía dưới cân bằng chính xác.

Đó cũng là lý do các phần dư phải được bình phương rồi mới đo được gì. Tổng thông thường của chúng luôn bằng 0, dù đường thẳng tốt hay tệ.

Tổng bình phương phần dư

Bình phương từng phần dư rồi cộng lại, bạn được tổng bình phương phần dư, thường viết là SSE. Với năm điểm ở trên, nó là 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.

Đường hồi quy được định nghĩa là đường làm cho con số này nhỏ nhất có thể. Mọi đường khác đều tệ hơn. Đường y = 0.5x + 2.5 cũng đi qua điểm trung bình (3, 4) và trông gần như giống hệt trên đồ thị, nhưng các phần dư của nó là -1, 0,5, 1, -0,5 và 0, và bình phương của chúng cộng lại được 2,5. Đường y = x + 1 được 4. Giá trị nhỏ nhất, 2,4, chỉ thuộc về y = 0.6x + 2.2.

Việc bình phương có một tác dụng phụ đáng biết. Một phần dư bằng 2 đóng góp 4 vào tổng, còn một phần dư bằng 4 đóng góp 16, nên một điểm nằm xa các điểm khác sẽ kéo cả đường thẳng về phía nó. Kéo một điểm ra góc biểu đồ ở trên và xem tổng nhảy vọt, đường thẳng nghiêng đi.

Biểu đồ phần dư

Biểu đồ phần dư đặt x trên trục ngang và phần dư của mỗi điểm trên trục dọc. Đường thẳng đã khớp trở thành đường nằm ngang tại 0, và câu hỏi trở nên đơn giản: còn quy luật nào sót lại không?

Một dải không có quy luật nghĩa là đường thẳng khớp. Các phần dư rải rác trên và dưới 0 mà không thành hình dạng nào, rộng gần như nhau ở mọi x, cho thấy đường thẳng đã nắm được xu hướng và phần còn lại chỉ là nhiễu.

Một đường cong nghĩa là đường thẳng là hình dạng sai. Khớp một đường thẳng cho các số chính phương 0, 1, 4, 9, 16 và 25 tại x = 0 đến 5, bạn được y = 5x - 10/3 với r ≈ 0,9599, nghe như khớp rất tốt. Các phần dư nói ra sự thật:

Chúng lần lượt là 10/3, -2/3, -8/3, -8/3, -2/3, 10/3: một hình chữ U. Lần nào đường thẳng cũng quá cao ở giữa và quá thấp ở hai đầu, và đó luôn là hình dạng khi khớp một đường thẳng cho một đường cong. Một parabol khớp chính xác với các điểm này, và đó là điều mà máy tính hồi quy bậc hai sẽ tìm ra.

Một hình quạt nghĩa là độ phân tán tăng dần. Nếu các phần dư nhỏ ở một đầu và lớn ở đầu kia, đường thẳng có thể vẫn đúng về trung bình, nhưng dự đoán của nó kém chính xác dần khi x tăng. Dữ liệu tăng theo phần trăm, như giá cả hay dân số, thường trông như vậy, và mô hình hàm mũ thường là thứ nên thử tiếp theo.

Phần dư và điểm ngoại lai

Một điểm có phần dư lớn bất thường, nằm cao hơn hoặc thấp hơn đường thẳng rất nhiều so với các điểm khác, là một điểm ngoại lai theo y. Nó đáng được xem lại: có thể đó là lỗi nhập liệu, hoặc một trường hợp thực sự khác biệt.

Một điểm nằm xa về bên trái hoặc bên phải các điểm còn lại là một vấn đề khác. Vì đường thẳng xoay quanh điểm trung bình, một điểm ở xa theo x có cánh tay đòn dài và có thể kéo đường thẳng về phía nó, khiến nó chỉ còn phần dư nhỏ dù chính nó làm thay đổi đường thẳng nhiều nhất. Vì vậy phần dư nhỏ không chứng minh được một điểm là bình thường. Trên biểu đồ ở trên, hãy kéo điểm ngoài cùng bên phải thẳng xuống và xem đường thẳng đi theo nó.

Thử một bài

Đường hồi quy là y = 0.6x + 2.2, và một trong các điểm dữ liệu là (4, 4). Phần dư của điểm đó bằng bao nhiêu?

Đường thẳng dự đoán 4,6 và điểm nằm ở 4, nên điểm nằm thấp hơn đường thẳng 0,6. Nếu bạn ra 0,6 thì phép trừ đã bị làm ngược: luôn là giá trị quan sát trừ giá trị dự đoán. Với dữ liệu của riêng bạn, máy tính hồi quy tuyến tính cho ra đường thẳng và tổng bình phương phần dư của nó, còn trang hệ số tương quan cho thấy độ mạnh của mức khớp có ý nghĩa gì khi gói gọn trong một con số.