最適なモデルを調整する

CoddyのMachine Learningジャーニー「教師あり学習」セクションの一部。レッスン 53/58。

k-NNはデフォルトの5近傍で勝ちました。別のkなら、ペンギンをより適切に分類できるでしょうか？グリッドサーチでは、腫瘍スキャンの場合の次の例のように、指定したすべてのkを交差検証で評価します。

kを1から29まで変えたときの腫瘍スキャンに対するk-NNのCV平均精度：k = 3で0.974とピークになり、星印で示され、その後k = 29では0.946まで低下する

「Pipeline のチューニング」と同様に、k はステップ名で指定します:

{"kneighborsclassifier__n_neighbors": [3, 5, 7]}

フォールドの標準偏差より小さい改善は、運によるものかもしれません。また、チューニングにも訓練データの行のみを使用します。

チャレンジ

中級

k-NN パイプラインはpipeで、defaultには k = 5 のときの CV 精度が格納されています。プログラムは試す k の値をksに読み込みます。

訓練データの行に対して、5 分割交差検証でこれらの値をグリッドサーチします。
最適な k とその CV 精度を小数点以下 3 桁で出力します。
k = 5 の場合と比べた改善量を小数点以下 3 桁で出力します。

別のコロニーで、グリッドが3, 5, 9の場合：

Best k: 3
CV accuracy: 0.969
Gain over k = 5: 0.009

次に、21から27のような大きな値だけを試してみましょう。調整すれば常に精度が上がるでしょうか？

自分で試してみよう

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier

# Meet the Penguins のコロニー、その特徴量とラベル
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# Prepare the Data より：2つの処理経路
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# Choose a Model より：選ばれた k-NN。デフォルトの k = 5 を使用
pipe = make_pipeline(prep, KNeighborsClassifier())
default = cross_val_score(pipe, X_train, y_train, cv=5).mean()

# 試す k の値
n = int(input())
ks = []
for i in range(n):
    ks.append(int(input()))

# 以下にコードを書いてください