Optimiere den Sieger

Teil des Abschnitts Überwachtes Lernen der Machine Learning-Journey von Coddy. Lektion 53 von 58.

k-NN hat mit seinem Standardwert von 5 Nachbarn gewonnen. Würde ein anderer k die Pinguine besser benennen? Eine Grid-Suche bewertet jedes k, das du angibst, mithilfe der Kreuzvalidierung, wie hier für Tumoraufnahmen:

Mittlere CV-Genauigkeit von k-NN bei Tumoraufnahmen für k von 1 bis 29: Sie erreicht bei k = 3 mit 0.974 ihren Höchstwert, markiert durch einen Stern, und sinkt dann allmählich auf 0.946 bei k = 29

Wie beim Optimieren einer Pipeline wird k nach seinem Schritt benannt:

{"kneighborsclassifier__n_neighbors": [3, 5, 7]}

Ein Zugewinn, der kleiner ist als die Standardabweichung der Folds, kann Zufall sein. Auch das Abstimmen verwendet nur die Trainingszeilen.

Aufgabe

Mittel

Deine k-NN-Pipeline ist pipe, und default enthält ihre CV-Genauigkeit mit k = 5. Das Programm liest die auszuprobierenden k-Werte in ks ein.

Führe für diese Werte eine Grid-Suche mit 5 Folds auf den Trainingszeilen durch.
Gib das beste k und seine CV-Genauigkeit mit 3 Dezimalstellen aus.
Gib den Zugewinn gegenüber k = 5 mit 3 Dezimalstellen aus.

Für eine andere Kolonie und das Raster 3, 5, 9:

Best k: 3
CV accuracy: 0.969
Gain over k = 5: 0.009

Probiere dann nur große Werte aus, etwa 21 bis 27. Hilft die Abstimmung immer?

Probier es selbst

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier

# Die Kolonie aus Meet the Penguins, ihre Merkmale und ihr Label
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# Aus Prepare the Data: die beiden Verarbeitungswege
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# Aus Choose a Model: der Gewinner, k-NN mit dem Standardwert k = 5
pipe = make_pipeline(prep, KNeighborsClassifier())
default = cross_val_score(pipe, X_train, y_train, cv=5).mean()

# Die auszuprobierenden Werte für k
n = int(input())
ks = []
for i in range(n):
    ks.append(int(input()))

# Schreibe deinen Code unten