Обучающая и тестовая выборки
Часть раздела Обучение с учителем путешествия по Machine Learning на Coddy. Урок 2 из 58.
Модель может запомнить строки, на которых она обучалась, поэтому проверка на них ничего не доказывает. Вместо этого скрой часть строк: тестовая выборка представляет новые данные.
Первая модель в этом путешествии изучила 112 цветков ириса и назвала 38. Эта строка распределила их:
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
iris = load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
print(X_train.shape, X_test.shape)Это выводит (112, 4) (38, 4). Эти четыре части всегда идут в таком порядке, а random_state=0 обеспечивает повторяемость перемешивания.
Обучайся на обучающей выборке. Открой тестовую выборку один раз, в конце.
Задание
ЛегкоНочная камера в лесу сняла 200 животных — лис или барсуков — в camera.csv. Будет ли разделение справедливой проверкой? Начальный код создает X и y и считывает test_size.
- Раздели данные с этим значением
test_sizeиrandom_state=0. - Выведи размеры, как показано ниже.
- Выведи долю лис в каждой части в целых процентах.
Для другого леса и значения 0.25:
Train: 90 snapshots
Test: 30 snapshots
Foxes: 52% of train, 47% of testПопробуйте сами
import pandas as pd
# Одна строка на каждый снимок ночной камеры
camera = pd.read_csv("camera.csv")
X = camera[["minutes_after_sunset", "length_cm", "speed_kmh"]]
y = camera["animal"]
test_size = float(input())
# Напишите свой код ниже
В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Обучение с учителем
1Ваша первая модель
Обучение на примерахОбучающая и тестовая выборкиОбучение и предсказаниеОценка моделиПовторение: сортировщик семян4Логистическая регрессия
Предсказания «да» или «нет»Порог принятия решенияВеса как свидетельстваНесколько классовПовторение: спам-фильтр2Метод ближайших соседей
Как работает k-NNВыбор kГраницы принятия решенийМасштабирование признаков для поиска соседейПовторение: соседи для вин5Оценка классификаторов
Матрица ошибокТочность и полнотаF1-мераНесбалансированные классыROC-кривыеПовторение: скрининговый тест8Кросс-валидация
K-блочная проверкаСправедливое сравнение моделейПоиск по сеткеПовторение: ремонт скейтбордов11Проект: виды пингвинов
Знакомство с пингвинамиПодготовка данныхВыбор моделиНастройка лучшей моделиЗапуск моделиПотренируйтесь самостоятельно: Онлайн-компилятор Python