Choisir un modèle

Fait partie de la section Apprentissage supervisé du Journey Machine Learning de Coddy. Leçon 52 sur 58.

Plusieurs familles de modèles pourraient nommer les manchots. Laquelle convient le mieux ? Donne à chacune les mêmes voies et les mêmes plis, puis compare-les, comme ces modèles de vin :

Précisions sur cinq plis pour chaque candidat sur les données de vin, représentées par des points, avec une barre noire à chaque moyenne : régression logistique la plus élevée et resserrée à 0.970, k-NN à 0.940, l’arbre la plus basse à 0.896 avec un pli descendant à 0.78

La moyenne la plus élevée l’emporte. Un faible écart-type indique qu’il a gagné sur chaque pli, et non grâce à une seule partition chanceuse.

pipe = make_pipeline(prep, model)
scores = cross_val_score(pipe, X_train, y_train, cv=5)

Chaque pli ajuste à nouveau les pipelines sur sa propre partie d’entraînement, afin que chaque score reste honnête. Les manchots de test restent à l’écart.

Défi

Moyen

Quatre candidats veulent le poste. Le code de départ contient vos étapes, les listes names et models, et lit un nombre de plis.

Pour chaque candidat, validez de manière croisée le pipeline composé de prep et de ce modèle sur les lignes d’entraînement.
Affichez sa moyenne et son écart-type, avec 3 décimales.
Affichez le gagnant : celui qui a la moyenne la plus élevée.

Pour une autre colonie et 5 plis :

k-NN: mean 0.951, std 0.031
Logistic regression: mean 0.964, std 0.012
Random forest: mean 0.958, std 0.027
Decision tree: mean 0.902, std 0.048
Winner: Logistic regression

Essayez vous-même

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier

# La colonie de « Rencontre avec les manchots », ses caractéristiques et son étiquette
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# De « Préparer les données » : les deux voies
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# Les candidats
names = ["k-NN", "Logistic regression", "Random forest", "Decision tree"]
models = [KNeighborsClassifier(), LogisticRegression(max_iter=1000),
          RandomForestClassifier(n_estimators=100, random_state=0), DecisionTreeClassifier(random_state=0)]
folds = int(input())

# Écrivez votre code ci-dessous