モデルを選ぶ

CoddyのMachine Learningジャーニー「教師あり学習」セクションの一部。レッスン 52/58。

ペンギンを分類できるモデルファミリーはいくつかあります。どれが最適でしょうか？それぞれに同じレーンと同じフォールドを使い、次のワインモデルのように比較しましょう。

ワインデータにおける各候補の5つのフォールドの正解率を点で示し、平均値に黒い横棒を付けた図：ロジスティック回帰が最も高く、ばらつきが小さい（0.970）、k-NNは0.940、決定木が最も低く、1つのフォールドが0.78まで下がっている（0.896）

平均値が最も高いものが勝ちです。標準偏差が小さいということは、運のよい分割で勝ったのではなく、すべてのフォールドで勝ったことを示します。

pipe = make_pipeline(prep, model)
scores = cross_val_score(pipe, X_train, y_train, cv=5)

各分割では、それぞれの訓練部分でレーンを再度適合させるため、すべてのスコアが正直なまま保たれます。テスト用のペンギンは隔離されたままです。

チャレンジ

中級

4人の候補者がその職を希望しています。スターターには、各候補者の処理パイプライン、names リスト、models リストが用意されており、分割数を読み込みます。

各候補者について、訓練データの行を使って、prep とそのモデルのパイプラインを交差検証します。
平均と標準偏差を小数第3位まで表示します。
勝者、つまり平均が最も高い候補者を表示します。

別のコロニーで、分割数を 5 にした場合：

k-NN: mean 0.951, std 0.031
Logistic regression: mean 0.964, std 0.012
Random forest: mean 0.958, std 0.027
Decision tree: mean 0.902, std 0.048
Winner: Logistic regression

自分で試してみよう

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier

# Meet the Penguins のペンギンの群れ、その特徴量とラベル
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# Prepare the Data で作成した2つの処理経路
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# 候補となるモデル
names = ["k-NN", "Logistic regression", "Random forest", "Decision tree"]
models = [KNeighborsClassifier(), LogisticRegression(max_iter=1000),
          RandomForestClassifier(n_estimators=100, random_state=0), DecisionTreeClassifier(random_state=0)]
folds = int(input())

# 以下にコードを書いてください