Conjuntos de treino e teste
Parte da seção Aprendizado supervisionado do Journey de Machine Learning da Coddy. Lição 2 de 58.
Um modelo pode memorizar as linhas que estudou, então testá-lo com elas não prova nada. Em vez disso, oculte algumas linhas: o conjunto de teste representa dados novos.
O primeiro modelo nesta jornada estudou 112 flores de íris e classificou 38. Esta linha as distribuiu:
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
iris = load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
print(X_train.shape, X_test.shape)Isso imprime (112, 4) (38, 4). As quatro partes sempre vêm nesta ordem, e random_state=0 faz com que a mistura se repita.
Treine com o conjunto de treinamento. Abra o conjunto de teste uma vez, no final.
Desafio
FácilUma câmera noturna em uma floresta registrou 200 animais, cada um uma raposa ou um texugo, em camera.csv. Uma divisão fornecerá um teste justo? O código inicial cria X e y e lê test_size.
- Faça a divisão com esse
test_sizeerandom_state=0. - Imprima os tamanhos como abaixo.
- Imprima a proporção de raposas em cada parte, em porcentagens inteiras.
Para outra floresta e 0.25:
Train: 90 snapshots
Test: 30 snapshots
Foxes: 52% of train, 47% of testExperimente você mesmo
import pandas as pd
# Uma linha por imagem capturada pela câmera noturna
camera = pd.read_csv("camera.csv")
X = camera[["minutes_after_sunset", "length_cm", "speed_kmh"]]
y = camera["animal"]
test_size = float(input())
# Escreva seu código abaixo
Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.
Todas as lições de Aprendizado supervisionado
1Seu primeiro modelo
Aprendendo com exemplosConjuntos de treino e testeAjustar e preverAvaliar um modeloRecapitulação: classificador de sementes4Regressão logística
Previsões de sim ou nãoO limiar de decisãoPesos como evidênciasVárias classesRevisão: filtro de spam2Vizinhos Mais Próximos
Como o k-NN DecideEscolhendo kLimites de DecisãoEscalonamento para VizinhosRevisão: Vizinhos do Vinho5Avaliando Classificadores
A Matriz de ConfusãoPrecisão e RevocaçãoA Pontuação F1Classes DesbalanceadasCurvas ROCRecapitulação: Teste de Triagem8Validação Cruzada
Validação K-FoldComparando Modelos de Forma JustaBusca em GradeRevisão: Consertos de Skate11Projeto: Espécies de Pinguins
Conheça os PinguinsPrepare os DadosEscolha um ModeloAjuste o VencedorColoque o Modelo em Produção3Regressão Linear
Prevendo númerosVárias característicasMedindo errosGráficos de resíduosRevisão: aluguel de bicicletas6Árvores de Decisão
Árvores fazem perguntasLendo uma árvoreProfundidade da árvoreImportância das característicasRevisão: decisões de empréstimoPratique por conta própria: Compilador de Python online