Настройка лучшей модели

Часть раздела Обучение с учителем путешествия по Machine Learning на Coddy. Урок 53 из 58.

k-NN победил со значением по умолчанию — 5 соседей. Поможет ли другое значение k лучше определить пингвинов? Поиск по сетке оценивает каждое указанное тобой значение k с помощью перекрёстной проверки, как здесь для снимков опухолей:

Средняя точность k-NN при перекрёстной проверке на снимках опухолей для k от 1 до 29: максимум достигается при k = 3 и составляет 0.974, отмеченный звёздочкой, затем показатель постепенно снижается до 0.946 при k = 29

Как и при настройке конвейера, k называется по имени своего шага:

{"kneighborsclassifier__n_neighbors": [3, 5, 7]}

Улучшение меньше стандартного отклонения по фолдам может быть случайностью. И настройка тоже использует только строки обучающей выборки.

Задание

Средне

Твой конвейер k-NN — это pipe, а в default хранится его точность при перекрёстной проверке с k = 5. Программа считывает значения k для проверки в ks.

Выполни поиск по сетке для этих значений с 5 блоками на обучающих строках.
Выведи лучшее значение k и точность при перекрёстной проверке с точностью до 3 знаков после запятой.
Выведи прирост относительно k = 5 с точностью до 3 знаков после запятой.

Для другой колонии и сетки 3, 5, 9:

Best k: 3
CV accuracy: 0.969
Gain over k = 5: 0.009

Затем проверь только большие значения, например, от 21 до 27. Всегда ли настройка помогает?

Попробуйте сами

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier

# Колония из Meet the Penguins, её признаки и метка
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# Из Prepare the Data: два пути обработки
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# Из Choose a Model: победитель — k-NN со значением k = 5 по умолчанию
pipe = make_pipeline(prep, KNeighborsClassifier())
default = cross_val_score(pipe, X_train, y_train, cv=5).mean()

# Значения k, которые нужно попробовать
n = int(input())
ks = []
for i in range(n):
    ks.append(int(input()))

# Напишите свой код ниже