Ajuste o Vencedor

Parte da seção Aprendizado supervisionado do Journey de Machine Learning da Coddy. Lição 53 de 58.

O k-NN venceu com seu valor padrão de 5 vizinhos. Outro valor de k classificaria melhor os pinguins? Uma busca em grade avalia cada valor de k que você listar usando validação cruzada, como neste exemplo com exames de tumores:

Acurácia média da validação cruzada do k-NN em exames de tumores para k de 1 a 29: ela atinge o pico em k = 3, com 0.974, marcado por uma estrela, e depois cai para 0.946 em k = 29

Assim como no ajuste de um pipeline, k é nomeado pela sua etapa:

{"kneighborsclassifier__n_neighbors": [3, 5, 7]}

Um ganho menor que o desvio padrão das partições pode ser sorte. E o ajuste de hiperparâmetros também usa apenas as linhas de treinamento.

Desafio

Médio

Seu pipeline k-NN é pipe, e default contém sua acurácia de validação cruzada com k = 5. O programa lê os valores de k a serem testados em ks.

Faça uma busca em grade com esses valores, usando 5 partições nas linhas de treinamento.
Imprima o melhor k e sua acurácia de validação cruzada, com 3 casas decimais.
Imprima o ganho em relação a k = 5, com 3 casas decimais.

Para outra colônia e a grade 3, 5, 9:

Best k: 3
CV accuracy: 0.969
Gain over k = 5: 0.009

Em seguida, teste apenas valores altos, como 21 a 27. O ajuste sempre ajuda?

Experimente você mesmo

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier

# A colônia de Meet the Penguins, suas características e seu rótulo
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# De Prepare the Data: os dois caminhos
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# De Choose a Model: o vencedor, k-NN com seu k padrão = 5
pipe = make_pipeline(prep, KNeighborsClassifier())
default = cross_val_score(pipe, X_train, y_train, cv=5).mean()

# Os valores de k a testar
n = int(input())
ks = []
for i in range(n):
    ks.append(int(input()))

# Escreva seu código abaixo