Коэффициент корреляции

Поставьте рядом два измерения, например часы сна и время реакции или температуру и продажи мороженого, и отложите одно против другого. Иногда точки тянутся вверх слева направо, иногда вниз, иногда образуют бесформенное облако. Коэффициент корреляции r превращает это впечатление в одно число от -1 до 1.

Подвигайте точки ниже. Две штриховые линии отмечают среднее x и среднее y, и каждая точка окрашена по тому, где она лежит относительно них. Сначала попробуйте три готовых набора, затем оттащите одну точку далеко от остальных и посмотрите, что она делает с r.

Что говорит это число

r всегда лежит между -1 и 1 и несёт две отдельные части информации.

Знак означает направление. Положительный r значит, что при большем x y тоже обычно больше. Отрицательный r значит, что при большем x y обычно меньше. О крутизне тренда знак ничего не говорит: у прямой, которая поднимается полого, и у прямой, которая поднимается круто, может быть одинаковый r = 1.

Величина показывает, насколько плотно точки прижимаются к прямой. Ровно при 1 или -1 все точки лежат на одной прямой. При 0 линейного тренда нет совсем.

График выше подписывает r по порогам, которые используют большинство учебников:

Эти границы являются соглашением, а не теоремой. Они удобны, чтобы описать результат словами, и в каждой области их сдвигают: у физика, который получил r = 0,9 для двух величин, которые должны быть строго пропорциональны, есть проблема, а у психолога, который нашёл r = 0,4 между двумя чертами характера, есть результат.

Откуда берётся формула

Две штриховые линии средних делят плоскость на четыре области, и каждая точка лежит в одной из них. У точки вверху справа от центра x больше своего среднего и y больше своего среднего. Вверху слева x меньше, а y больше. На этой картинке построена вся формула:

r = Σ(x - x̄)(y - ȳ) / √(Σ(x - x̄)² Σ(y - ȳ)²)

Сначала посмотрите на числитель. Для каждой точки умножьте расстояние от x до его среднего на расстояние от y до его среднего. В правой верхней и левой нижней областях у обоих расстояний одинаковый знак, поэтому произведение положительное. В двух других областях знаки разные, и произведение отрицательное. Сумма произведений даёт итог, знак которого совпадает со знаком r, поэтому цвета на графике сообщают направление раньше числа: синие точки тянут r вверх, а оранжевые вниз.

Знаменатель только меняет масштаб. Он делит на разброс x и разброс y, так что результат больше не зависит от единиц измерения и ни в одну сторону не выходит за 1.

Вычисление вручную

Возьмём пять точек: x = 1, 2, 3, 4, 5 и y = 2, 4, 5, 4, 5. Среднее x равно 3, среднее y равно 4.

Значит, r = 6/√60 = √15/5, около 0,7746: сильная положительная корреляция.

Заметьте, что точный ответ содержит квадратный корень. Здесь r² равен ровно 3/5, обычной дроби, а r равен корню из неё со знаком числителя. Поэтому калькулятор коэффициента корреляции печатает r в виде радикала с десятичным значением рядом, а не одну округлённую десятичную дробь.

Во многих учебниках та же формула дана в виде, которому нужны только накопленные суммы, без предварительного вычитания средних:

r = (nΣxy - ΣxΣy) / √((nΣx² - (Σx)²)(nΣy² - (Σy)²))

Для тех же пяти точек n = 5, Σx = 15, Σy = 20, Σxy = 66, Σx² = 55 и Σy² = 86. Числитель равен 5 × 66 минус 15 × 20 = 30, две скобки в знаменателе равны 50 и 30, поэтому r = 30 / √1500, тот же √15/5.

r и r в квадрате

Возведите r в квадрат, и получите r², коэффициент детерминации. Для пяти точек выше r² = 0,6. Он читается как доля: прямая наилучшего приближения через эти точки объясняет 60% разброса y, а остальные 40% составляет рассеяние, которое прямая объяснить не может.

Эти два числа отвечают на разные вопросы. r сообщает направление и силу вместе, а это как раз нужно, когда описываете связь. r² отбрасывает знак, так что r = -0,9 и r = 0,9 оба дают 0,81, и именно его называют, когда вопрос в том, сколько объясняет прямая. К тому же он всегда меньше |r|, если только r не равен 0 или ±1, поэтому r = 0,5, которое звучит солидно, превращается в r² = 0,25: прямая объясняет четверть разброса.

Корреляция не означает причинность

Сильный r говорит, что в этих данных две величины меняются вместе. Он не говорит почему, и есть три частые причины, которые не имеют ничего общего с тем, что одна величина вызывает другую.

• Обе величины зависят от третьей. Продажи мороженого и несчастные случаи на воде растут и падают вместе. Причина обоих явлений в жаре.
• Причина действует в обратную сторону. В дни с сильным ветром ветряные мельницы крутятся быстрее. Ветер крутит мельницы; мельницы не создают ветер.
• Совпадение. Сравните достаточно много не связанных рядов, и некоторые совпадут случайно, особенно на промежутке в несколько лет.

Чтобы показать, что x вызывает y, нужно то, чего корреляция дать не может: контролируемый эксперимент или рассуждение о механизме, которое исключает другие объяснения.

Чего r не видит

Это число является сводкой, а сводка что-то скрывает. Стоит знать три вещи.

Кривые. Точки (-2, 4), (-1, 1), (0, 0), (1, 1), (2, 4) лежат ровно на y = x^2, а их коэффициент корреляции равен ровно 0. Левая половина убывает, правая растёт, и произведения взаимно уничтожаются. r измеряет только линейные связи, поэтому идеальная кривая может получить ноль.

Выбросы. Начните с пяти точек выше, r ≈ 0,7746, и добавьте одну точку (10, 0). Новый r примерно равен -0,5529. Одна точка сменила знак. Это работает и в обратную сторону: у x = 1 до 5 и y = 3, 1, 4, 1, 5 слабый r ≈ 0,3536, а одна добавленная точка (12, 12) поднимает его примерно до 0,9084, вообще не меняя остальные пять. Попробуйте оба случая на графике: оттащите одну точку в угол и следите за r.

Что не важно. Смена единиц измерения не меняет r. Измерьте x в сантиметрах вместо метров или умножьте каждое x на 10, и r останется √15/5. Если поменять местами, какая переменная x, а какая y, r тоже не изменится, в отличие от прямой регрессии, которая при такой перестановке меняется.

Поэтому смотрите на диаграмму рассеяния, прежде чем называть r, и проверяйте остатки построенной прямой на закономерность, которую число скрыло бы.

Попробуйте сами

Коэффициент корреляции двух величин равен r = -0,9. Чему равен r в квадрате?

Ответ положительный, хотя r отрицательный, и он меньше 0,9. Если у вас вышло -0,81, знак попал в квадрат; если вышло 0,9, квадрат пропущен. Чтобы найти r для своих данных, вставьте два столбца в калькулятор коэффициента корреляции, который показывает таблицу сумм и заполненную формулу.