优化胜出模型

本课属于 Coddy Machine Learning 学习旅程的“监督学习”单元。第 53 课，共 58 课。

k-NN 使用默认值 5 个邻居时胜出。换一个 k 能更好地识别企鹅吗？网格搜索会通过交叉验证为你列出的每个 k 评分，就像下面对肿瘤扫描图像所做的那样：

k-NN 在肿瘤扫描图像上的平均交叉验证准确率，k 从 1 到 29：准确率在 k = 3 时达到峰值 0.974，并用星号标出，随后逐渐降至 k = 29 时的 0.946

和“调优 Pipeline”中一样，k 以其步骤命名：

{"kneighborsclassifier__n_neighbors": [3, 5, 7]}

小于折叠标准差的增益可能只是运气。而且，调优也只使用训练行。

挑战

中等

你的 k-NN 流水线是 pipe，default 保存了它在 k = 5 时的交叉验证准确率。程序会将要尝试的 k 值读入 ks。

在训练数据行上使用 5 折交叉验证，对这些值进行网格搜索。
打印最佳 k 值及其交叉验证准确率，保留 3 位小数。
打印相较于 k = 5 的提升，保留 3 位小数。

换一个企鹅群，使用网格 3, 5, 9：

Best k: 3
CV accuracy: 0.969
Gain over k = 5: 0.009

然后只尝试较大的值，比如从 21 到 27。调参总是有帮助吗？

亲手试试

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier

# 来自 Meet the Penguins 的企鹅群体，以及它的特征和标签
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# 来自 Prepare the Data：两条处理流程
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# 来自 Choose a Model：胜出的模型是 k-NN，默认 k = 5
pipe = make_pipeline(prep, KNeighborsClassifier())
default = cross_val_score(pipe, X_train, y_train, cv=5).mean()

# 要尝试的 k 值
n = int(input())
ks = []
for i in range(n):
    ks.append(int(input()))

# 在下方编写你的代码