La matrice de confusion

Fait partie de la section Apprentissage supervisé du Journey Machine Learning de Coddy. Leçon 21 sur 58.

La précision compte les erreurs, mais pas leur nature. Pour un test de dépistage de la grippe, renvoyer chez lui un patient malade est bien pire qu’une fausse alerte. Une confusion_matrix compte chaque type d’erreur :

Une grille de 2 par 2 pour un test de dépistage de la grippe sur 100 patients. Les lignes indiquent la réalité : en bonne santé, puis a la grippe ; les colonnes indiquent le résultat : déclaré en bonne santé, puis déclaré comme ayant la grippe. Bonnes réponses en bleu : 50 vrais négatifs, 42 vrais positifs. Erreurs en orange : 3 faux positifs, 5 faux négatifs

La grippe est la classe positive, 1. Les erreurs se trouvent hors de la diagonale : les faux positifs (fausses alertes) et les faux négatifs (cas manqués).

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay

cm = confusion_matrix(y_test, pred)  # valeurs réelles en premier
print(cm)
print(cm[1, 0])  # ligne 1 : a la grippe, colonne 0 : prédit en bonne santé
ConfusionMatrixDisplay.from_predictions(y_test, pred, display_labels=["healthy", "flu"],
                                        ax=ax, colorbar=False)  # pas de barre de couleurs : les effectifs parlent d’eux-mêmes

Cela affiche :

[[50  3]
 [ 5 42]]
5

Ce chapitre porte sur la réduction de cette cellule des cas manqués. Il se termine par un test de dépistage qui ne laisse passer presque personne.

Défi

Moyen

Les maîtres-nageurs reçoivent une alerte le matin lorsqu’un courant d’arrachement risque de se former. Le code de départ entraîne le modèle d’alerte et remplit pred pour les matinées de test (1 signifie qu’il y a un courant d’arrachement).

Crée la matrice de confusion et affiche les quatre nombres comme ci-dessous.
Trace-la sur ax, avec les étiquettes calm et rip, puis affiche-la.

Pour un autre modèle :

Rips caught: 30
Rips missed: 2
False alarms: 9
Calm days cleared: 59

Coddy décrit ton graphique. Il devrait ressembler à celui-ci, qui concerne une alerte de fuite dans une canalisation :

Une matrice de confusion intitulée Leak Alerts. Les lignes correspondent à l’étiquette réelle : dry puis leak ; les colonnes, à l’étiquette prédite. Cellules : 61 et 4 dans la ligne dry, 7 et 28 dans la ligne leak

Essayez vous-même

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay

# Une ligne par matinée sur une plage de surf : 1 dans rip signifie qu’un courant d’arrachement s’est formé ce jour-là
beach = pd.read_csv("rips.csv")
features = ["wave_height_m", "wave_period_s", "wind_kmh", "tide_change_m"]
X = beach[features]
y = beach["rip"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)

# L’alerte aux courants d’arrachement des sauveteurs
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)
pred = model.predict(X_test)

fig, ax = plt.subplots()
ax.set_title("Rip Current Alerts")

# Écrivez votre code ci-dessous