Insiemi di addestramento e test
Fa parte della sezione Apprendimento supervisionato del percorso Machine Learning di Coddy. Lezione 2 di 58.
Un modello può memorizzare le righe che ha studiato, quindi testarlo su di esse non dimostra nulla. Nascondi invece alcune righe: il set di test rappresenta i nuovi dati.
Il primo modello di questo percorso ha studiato 112 fiori di iris e ne ha identificati 38. Questa riga li ha suddivisi:
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
iris = load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
print(X_train.shape, X_test.shape)Stampa (112, 4) (38, 4). Le quattro parti sono sempre in questo ordine e random_state=0 fa sì che il rimescolamento si ripeta.
Addestra il modello sul set di addestramento. Apri il set di test una sola volta, alla fine.
Sfida
FacileUna fotocamera notturna in un bosco ha immortalato 200 animali, ciascuno una volpe o un tasso, in camera.csv. Una suddivisione darà un test equo? Il codice iniziale crea X e y e legge test_size.
- Suddividi i dati usando quel
test_sizeerandom_state=0. - Stampa le dimensioni come mostrato sotto.
- Stampa la percentuale di volpi in ciascuna parte, in percentuali intere.
Per un altro bosco e 0.25:
Train: 90 snapshots
Test: 30 snapshots
Foxes: 52% of train, 47% of testProvalo tu
import pandas as pd
# Una riga per ogni scatto della fotocamera notturna
camera = pd.read_csv("camera.csv")
X = camera[["minutes_after_sunset", "length_cm", "speed_kmh"]]
y = camera["animal"]
test_size = float(input())
# Scrivi il tuo codice qui sotto
Questa lezione include un breve quiz. Inizia la lezione per rispondere e tenere traccia dei tuoi progressi.
Tutte le lezioni di Apprendimento supervisionato
1Il tuo primo modello
Imparare dagli esempiInsiemi di addestramento e testAdattare e prevedereValutare un modelloRiepilogo: Ordinatore di semi4Regressione logistica
Previsioni sì o noLa soglia decisionaleI pesi come evidenzePiù classiRiepilogo: filtro antispam2Vicini più prossimi
Come decide k-NNScegliere kConfini decisionaliNormalizzare le scale per i viciniRiepilogo: vicini del vino5Misurare i classificatori
La matrice di confusionePrecisione e richiamoIl punteggio F1Classi sbilanciateCurve ROCRiepilogo: test di screening8Convalida incrociata
Validazione K-foldConfronto equo tra modelliRicerca a grigliaRiepilogo: riparazioni di skateboard11Progetto: specie di pinguini
Incontra i pinguiniPrepara i datiScegli un modelloOttimizza il miglioreDistribuisci il modello3Regressione lineare
Prevedere numeriPiù caratteristicheMisurare gli erroriGrafici dei residuiRiepilogo: noleggio di biciclette6Alberi decisionali
Gli alberi fanno domandeLeggere un alberoProfondità dell’alberoImportanza delle caratteristicheRiepilogo: decisioni sui prestitiEsercitati da solo: Compilatore Python online