Остатки

Прямая наилучшего приближения предсказывает значение y для каждого x. Большинство точек не попадают на неё ровно, и разница между тем, какова точка на самом деле, и тем, какой она должна быть по прямой, называется остатком этой точки. Это самая простая величина в регрессии, одно вычитание, и именно по остаткам отличают прямую, которая подходит, от прямой, которая только кажется подходящей.

Подвигайте точки ниже. Каждый вертикальный отрезок изображает один остаток: синий для точек выше прямой и оранжевый для точек ниже, а таблица перечисляет их все вместе с суммой их квадратов.

Наблюдаемое минус предсказанное

Для точки с координатами (x, y) прямая предсказывает значение, которое обозначают ŷ и читают «игрек с крышечкой». Остаток равен

e = y - ŷ

наблюдаемое минус предсказанное, всегда в таком порядке.

Возьмём пять точек x = 1, 2, 3, 4, 5 и y = 2, 4, 5, 4, 5. Их прямая наилучшего приближения y = 0.6x + 2.2. При x = 3 прямая предсказывает 0,6 × 3 + 2,2 = 4, а фактическая точка (3, 5), поэтому остаток равен 1. При x = 1 она предсказывает 2,8, а точка (1, 2), поэтому остаток равен -0,8.

Что говорит знак

Положительный остаток означает, что точка лежит выше прямой: фактическое значение оказалось больше предсказанного, и прямая его занизила. Отрицательный остаток означает, что точка лежит ниже прямой и прямая завысила. Нулевой остаток означает, что точка лежит ровно на прямой.

Величина остатка выражена в единицах y. Если y означает баллы за тест, остаток -0,8 значит, что ученик набрал на 0,8 балла меньше, чем прямая предсказала для его x.

Почему их сумма равна нулю

Посмотрите на столбец остатков в таблице: -0,8; 0,6; 1; -0,6 и -0,2 в сумме дают ровно 0. Это не удача. Так бывает для любой прямой наименьших квадратов со свободным членом.

Свободный член этой прямой выбирается как b = ȳ - m x̄. Сложите остатки y - (mx + b) по всем n точкам: значения y дают в сумме nȳ, слагаемые mx дают mnx̄, а слагаемые b дают nb. Подставьте формулу для b, и три части взаимно уничтожатся до нуля. Словами: прямая расположена так, что точки выше неё и точки ниже неё в точности уравновешивают друг друга.

Поэтому же остатки нужно возводить в квадрат, прежде чем они смогут что-то измерять. Их простая сумма всегда равна 0, и для хорошей прямой, и для плохой.

Сумма квадратов остатков

Возведите каждый остаток в квадрат и сложите, и получите сумму квадратов остатков, которую часто обозначают SSE. Для пяти точек выше она равна 0.64 + 0.36 + 1 + 0.36 + 0.04 = 2.4.

Прямая наилучшего приближения по определению делает это число как можно меньше. Любая другая прямая даёт больше. Прямая y = 0.5x + 2.5 тоже проходит через точку средних (3, 4) и на графике выглядит почти так же, но её остатки равны -1; 0,5; 1; -0,5 и 0, а сумма их квадратов равна 2,5. Прямая y = x + 1 даёт 4. Минимум, 2,4, принадлежит только y = 0.6x + 2.2.

У возведения в квадрат есть побочный эффект, который стоит знать. Остаток 2 добавляет к сумме 4, а остаток 4 добавляет 16, поэтому одна точка вдали от остальных тянет всю прямую к себе. Оттащите одну точку в угол графика выше и посмотрите, как подскочит сумма и наклонится прямая.

График остатков

На графике остатков по горизонтальной оси откладывают x, а по вертикальной остаток каждой точки. Построенная прямая превращается в горизонтальную линию на нуле, и вопрос становится простым: осталась ли какая-нибудь закономерность?

Полоса без закономерности значит, что прямая подходит. Остатки, разбросанные выше и ниже нуля без формы и примерно одинаково широко при каждом x, говорят, что прямая уловила тренд, а оставшееся является шумом.

Изгиб значит, что прямая имеет неправильную форму. Постройте прямую по квадратам 0, 1, 4, 9, 16 и 25 при x от 0 до 5 и получите y = 5x - 10/3 при r ≈ 0,9599, что звучит как отличное приближение. Остатки говорят правду:

Они идут так: 10/3, -2/3, -8/3, -8/3, -2/3, 10/3, то есть буквой U. Прямая каждый раз слишком высоко в середине и слишком низко на концах, и именно так всегда выглядит прямая, проведённая по кривой. Парабола проходит через эти точки точно, и её нашёл бы калькулятор квадратичной регрессии.

Веер значит, что разброс растёт. Если остатки маленькие на одном конце и большие на другом, прямая может быть верной в среднем, но её прогнозы становятся менее точными с ростом x. Так часто выглядят данные, которые растут на процент, например цены или численность населения, и обычно следующей пробуют экспоненциальную модель.

Остатки и выбросы

Точка с необычно большим остатком, далеко выше или ниже прямой по сравнению с остальными, является выбросом по y. Её стоит проверить ещё раз: это может быть опечатка или действительно особый случай.

Точка далеко слева или справа от остальных создаёт проблему другого рода. Прямая поворачивается вокруг точки средних, поэтому точка, далеко вынесенная по x, имеет длинный рычаг и может притянуть прямую к себе, и тогда её остаток окажется маленьким, хотя прямую она изменила сильнее всех. Так что маленький остаток не доказывает, что точка обычная. На графике выше потяните крайнюю правую точку прямо вниз и посмотрите, как прямая идёт за ней.

Попробуйте сами

Прямая наилучшего приближения: y = 0,6x + 2,2, и одна из точек данных (4, 4). Чему равен остаток этой точки?

Прямая предсказывает 4,6, а точка находится на 4, так что точка лежит на 0,6 ниже прямой. Если у вас вышло 0,6, вычитание сделано в обратном порядке: всегда наблюдаемое минус предсказанное. Для своих данных калькулятор линейной регрессии даёт прямую и сумму квадратов её остатков, а страница про коэффициент корреляции показывает, что означает сила связи в виде одного числа.