Comparer les modèles équitablement

Fait partie de la section Apprentissage supervisé du Journey Machine Learning de Coddy. Leçon 38 sur 58.

Comparer des modèles sur une seule séparation, c’est jouer à pile ou face : l’un d’eux peut tomber sur un jeu de test favorable. Faites plutôt subir les mêmes cinq plis à chaque modèle. Pour 150 billets de banque, vrais ou faux :

Scores des cinq plis pour chaque modèle, représentés par des points, avec une ligne noire à chaque moyenne. Les points de k-NN sont rapprochés autour de 0.867 ; ceux du modèle logistique sont répartis de 0.73 à 0.93 autour de 0.873 ; l’arbre est en retrait à 0.807

k-NN et la régression logistique sont à égalité compte tenu de leur marge de variation, et k-NN est plus stable. L’arbre est à la traîne.

Un répartiteur KFold</code mélange les lignes une fois et fournit à chaque modèle des plis identiques :</p><pre><code class="language-python">from sklearn.model_selection import KFold folds = KFold(n_splits=5, shuffle=True, random_state=0) for model in [knn, logistic, tree]: scores = cross_val_score(model, X, y, cv=folds) print(f"{scores.mean():.3f} {scores.std():.3f}")

Il affiche les nombres du graphique :

0.867 0.042
0.873 0.074
0.807 0.077

Choisissez la moyenne la plus élevée ; lorsque les moyennes sont proches, l’écart-type le plus faible.

Défi

Moyen

Un site de cuisine prédit quels visiteurs préparent une recette qu’ils consultent. Le code de départ évalue trois modèles sur une seule partition, et l’arbre gagne. Évalue-les équitablement ; le programme lit le nombre de plis.

Crée un KFold avec ce nombre de partitions, shuffle=True et random_state=0.
Évalue chaque modèle par validation croisée sur ces plis ; affiche sa moyenne et son écart-type avec 3 décimales.
Affiche le modèle ayant la moyenne la plus élevée.

Pour d’autres visiteurs et avec 5 :

One split picks: k-NN
k-NN: mean 0.833, std 0.045
logistic: mean 0.860, std 0.044
tree: mean 0.787, std 0.029
Cross-validation picks: logistic

Essayez vous-même

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split, cross_val_score, KFold
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier

n_folds = int(input())

# Ne modifiez pas les lignes ci-dessous : 300 visiteurs, 6 habitudes de navigation ; le label 1 signifie qu'ils ont cuisiné la recette
X, y = make_classification(n_samples=300, n_features=6, n_informative=4, n_redundant=0,
                           flip_y=0.06, class_sep=0.8, random_state=0)
names = ["k-NN", "logistic", "tree"]
models = [KNeighborsClassifier(), LogisticRegression(max_iter=1000),
          DecisionTreeClassifier(max_depth=4, random_state=0)]

# Un seul découpage désigne un gagnant
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
single = []
for model in models:
    model.fit(X_train, y_train)
    single.append(model.score(X_test, y_test))
print(f"One split picks: {names[np.argmax(single)]}")

# Écrivez votre code ci-dessous