Матрица корреляций

Часть раздела Статистика для машинного обучения путешествия по Machine Learning на Coddy. Урок 31 из 64.

Выбор признаков означает одновременное сравнение каждого столбца с целевым. df.corr(numeric_only=True) строит матрицу корреляций, пропуская текстовые столбцы:

laptops = pd.DataFrame({
    "model": ["Arc", "Bolt", "Cove", "Dune", "Echo", "Flux", "Gale"],
    "ram_gb": [8, 16, 8, 32, 16, 16, 32],
    "weight_kg": [2.3, 1.4, 2.0, 1.1, 1.8, 1.2, 1.6],
    "battery_h": [7, 9, 10, 13, 6, 11, 8],
    "price": [650, 1100, 700, 1600, 900, 1350, 1200],
})
corr = laptops.corr(numeric_only=True)

Матрица корреляций четырёх столбцов ноутбуков в виде сетки чисел. На диагонали серым цветом выделено значение 1.00; столбец price выделен: ram_gb 0.81, weight_kg -0.95, battery_h 0.70

Каждая ячейка — это значение r для её строки и столбца. Чтобы найти наиболее сильный признак, упорядочьте столбец цены по величине, игнорируя знаки:

ranked = np.abs(corr["price"]).sort_values(ascending=False)
print(ranked.index[1])

Это выводит:

weight_kg

Индекс 0 — это сам price, со значением 1. Более лёгкие ноутбуки стоят дороже: -0.95 — самая сильная связь.

Задание

Средне

Энергетическая компания провела опрос среди 24 домов зимой. В homes.csv есть код home и числовые столбцы area_m2, insulation_cm, residents, outside_temp_c и heating_kwh. Программа считывает целевой столбец.

Выведи столбец целевой переменной из матрицы корреляции, округлив значения до 2 знаков после запятой.
Выведи Strongest:, название другого столбца, наиболее сильно связанного с целевым, и его r, как показано ниже.

Для другого опроса и целевого столбца heating_kwh:

windows        0.72
floors         0.68
age_years      0.23
heating_kwh    1.00
Name: heating_kwh, dtype: float64
Strongest: windows (r = 0.72)

Попробуйте сами

import numpy as np
import pandas as pd

homes = pd.read_csv("homes.csv")
target = input()

# Напишите свой код ниже

Проверьте себя

В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.

Все уроки раздела Статистика для машинного обучения

1Центр и разброс

Среднее и медиана Процентили и квартили Дисперсия и стандартное отклонение Выборка или генеральная совокупность?Самое частое значение Повторение: сроки доставки

4Выборки и генеральные совокупности

Генеральная совокупность и выборка Средние значения выборок различаются Распределение выборочных средних Чем больше выборка, тем меньше шум Итоги: опрос жителей города

7Линии тренда

Остатки Метод наименьших квадратов Построение линии аппроксимации Предсказания с помощью линии Насколько хороша аппроксимация?Повторение: часы практики

10Кодирование категорий

Категории в виде чисел One-Hot Encoding Разбиение чисел на интервалы Повторение: объявления о продаже автомобилей

2Распределения

Гистограммы плотности Формы распределения данных Нормальная кривая Правило 68–95–99,7 Z-оценки Повторение: время работы батареи

5Выбросы

Диаграммы размаха Правило IQR Правило Z-оценки Работа с выбросами Повторение: сбои датчиков

8Сравнение групп

Диаграммы размаха по группам Разность средних А вдруг это случайность?P-значения t-критерий Повторение: A/B-тест

11Изучаем набор данных

Первый взгляд Все признаки сразу Признаки и целевая переменная Два лучших признака Повторение: данные о диабете

3Вероятность с помощью моделирования

Вероятность как частота Закон больших чисел Суммы значений на кубиках Математическое ожидание Условная вероятность Повторение: шансы в игре в кости

6Взаимосвязи

Чтение диаграмм рассеяния КорреляцияМатрица корреляцийТепловые карты корреляций Корреляция не означает причинность Повторение: мороженое и солнце

9Масштабирование признаков

Зачем масштабировать признаки Масштабирование Min-Max Стандартизация StandardScaler Повторение: партнёры по восхождению

12Итоговые задания

Задержки поездов Качество воздуха Химия вина Опрос в клинике

Потренируйтесь самостоятельно: Онлайн-компилятор Python