Florestas aleatórias

Parte da seção Aprendizado supervisionado do Journey de Machine Learning da Coddy. Lição 41 de 58.

Uma árvore de decisão é instável: altere algumas linhas de treinamento e suas perguntas mudam. Este capítulo torna as árvores mais estáveis fazendo muitas delas.

Uma floresta aleatória treina muitas árvores e deixa que elas votem. Aqui, sete árvores respondem por um gêiser:

Sete árvores pequenas em uma fila, cada uma com seu voto abaixo: sim, sim, não, sim, sim, não, sim. Setas levam de cada voto a uma caixa que diz Floresta: sim, 5 votos a 2

No código, é mais um modelo para treinar:

from sklearn.ensemble import RandomForestClassifier

forest = RandomForestClassifier(n_estimators=100, random_state=0)
forest.fit(X_train, y_train)
print(forest.score(X_test, y_test))

Em 300 dias de gêiser, isso imprime 0.893, enquanto uma árvore obteve 0.813. n_estimators é o número de árvores.

Muitos eleitores, menos erros.

Desafio

Médio

Uma escola de cães-guia quer saber com antecedência quais filhotes serão aprovados. O código inicial divide puppies.csv, avalia uma árvore e lê um número de árvores.

Treine uma floresta com esse número de árvores (random_state=0) e imprima sua acurácia no conjunto de teste.
Imprima qual modelo vence e por quanto, ou A tie.

Para outra escola e 50:

Single tree: 0.740
Forest: 0.860
The forest wins by 0.120

Depois, tente 1: uma floresta com uma árvore tem um desempenho surpreendentemente ruim. A próxima lição mostra por quê.

Experimente você mesmo

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

# Filhotes em uma escola de cães-guia: calma, foco e reação de susto a ruídos altos (1 a 10),
# peso, meses com a família que os criou e aptidão para ser cão-guia (1) ou não (0)
puppies = pd.read_csv("puppies.csv")
X = puppies[["calmness", "focus", "noise_startle", "weight_kg", "months_with_family"]]
y = puppies["qualified"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
trees = int(input())

# Não altere as linhas abaixo: uma árvore para superar
tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)
tree_acc = tree.score(X_test, y_test)
print(f"Single tree: {tree_acc:.3f}")

# Escreva seu código abaixo