Первый взгляд
Часть раздела Статистика для машинного обучения путешествия по Machine Learning на Coddy. Урок 56 из 64.
Каждая модель начинается с того, что кто-то внимательно изучает её данные. Эта глава заканчивается изображением вроде этого: два измерения, разделяющие опухоли по классам.
Начните с четырёх проверок: размер, пропуски, диапазоны и классы. Для набора данных о винах:
wine = load_wine(as_frame=True)
df = wine.frame
print(df.shape)
print(df.isna().sum().sum())Это выводит:
(178, 14)
013 признаков плюс target, и .sum().sum() не обнаружил пропусков нигде. df.describe() показывает диапазон каждого признака.
И наконец, классы. normalize=True преобразует количества в доли:
shares = df["target"].value_counts(normalize=True)Всегда отвечать class_1 — правильно в 40% случаев: это базовый уровень, который должна превзойти настоящая модель.
Задание
СреднеСначала изучи load_breast_cancer, до того как какая-либо модель начнёт на нём обучаться. Стартовый код загружает его в df и считывает имя признака. Выведи:
- Размер и количество пропущенных ячеек.
- Минимум, максимум и медиану признака из
describe(). - Долю каждого класса в целых процентах, в порядке классов.
- Базовый уровень: наибольшую долю и соответствующий класс.
Для цветов ириса и входных данных petal length (cm) вывод будет таким:
Size: 150 samples, 4 features
Missing cells: 0
petal length (cm): 1.0 to 6.9, median 4.35
setosa: 33%
versicolor: 33%
virginica: 33%
Baseline: 33% by always answering setosaДанные по ирисам идеально сбалансированы. А данные о тканях?
Попробуйте сами
from sklearn.datasets import load_breast_cancer
feature = input()
cancer = load_breast_cancer(as_frame=True)
df = cancer.frame
# Напишите свой код ниже
В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Статистика для машинного обучения
1Центр и разброс
Среднее и медианаПроцентили и квартилиДисперсия и стандартное отклонениеВыборка или генеральная совокупность?Самое частое значениеПовторение: сроки доставки4Выборки и генеральные совокупности
Генеральная совокупность и выборкаСредние значения выборок различаютсяРаспределение выборочных среднихЧем больше выборка, тем меньше шумИтоги: опрос жителей города2Распределения
Гистограммы плотностиФормы распределения данныхНормальная криваяПравило 68–95–99,7Z-оценкиПовторение: время работы батареи8Сравнение групп
Диаграммы размаха по группамРазность среднихА вдруг это случайность?P-значенияt-критерийПовторение: A/B-тест11Изучаем набор данных
Первый взглядВсе признаки сразуПризнаки и целевая переменнаяДва лучших признакаПовторение: данные о диабете3Вероятность с помощью моделирования
Вероятность как частотаЗакон больших чиселСуммы значений на кубикахМатематическое ожиданиеУсловная вероятностьПовторение: шансы в игре в кости6Взаимосвязи
Чтение диаграмм рассеянияКорреляцияМатрица корреляцийТепловые карты корреляцийКорреляция не означает причинностьПовторение: мороженое и солнцеПотренируйтесь самостоятельно: Онлайн-компилятор Python