Lasy losowe

Część sekcji Uczenie nadzorowane ścieżki Machine Learning w Coddy. Lekcja 41 z 58.

Jedno drzewo decyzyjne jest niestabilne: zmień kilka wierszy treningowych, a zmienią się jego pytania. W tym rozdziale drzewa stają się stabilniejsze, bo zadajemy pytania wielu z nich.

las losowy trenuje wiele drzew i pozwala im głosować. Oto siedem drzew głosujących w sprawie jednego gejzeru:

Siedem małych drzew w rzędzie, a pod każdym ich głos: tak, tak, nie, tak, tak, nie, tak. Strzałki prowadzą od każdego głosu do jednego pola z napisem: Las: tak, 5 głosów do 2

W kodzie jest to jeszcze jeden model do dopasowania:

from sklearn.ensemble import RandomForestClassifier

forest = RandomForestClassifier(n_estimators=100, random_state=0)
forest.fit(X_train, y_train)
print(forest.score(X_test, y_test))

Dla 300 dni gejzerowych ten kod wypisuje 0.893, podczas gdy jedno drzewo uzyskało wynik 0.813. n_estimators to liczba drzew.

Więcej wyborców, mniej błędów.

Wyzwanie

Średni

Szkoła psów przewodników chce jak najwcześniej wiedzieć, które szczenięta się zakwalifikują. Kod początkowy dzieli dane z puppies.csv, ocenia jedno drzewo i odczytuje liczbę drzew.

Wytrenuj las z taką liczbą drzew (random_state=0) i wypisz jego dokładność na zbiorze testowym.
Wypisz, który model wygrywa i o ile, albo A tie.

Dla innej szkoły i 50:

Single tree: 0.740
Forest: 0.860
The forest wins by 0.120

Następnie spróbuj z 1: las złożony z jednego drzewa radzi sobie zaskakująco słabo. W następnej lekcji dowiesz się dlaczego.

Spróbuj swoich sił

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

# Szczenięta w szkole psów przewodników: spokój, koncentracja i reakcja przestrachu na głośne dźwięki (1 do 10),
# waga, liczba miesięcy spędzonych z rodziną wychowującą oraz to, czy uzyskały kwalifikację na psa przewodnika (1), czy nie (0)
puppies = pd.read_csv("puppies.csv")
X = puppies[["calmness", "focus", "noise_startle", "weight_kg", "months_with_family"]]
y = puppies["qualified"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
trees = int(input())

# Nie zmieniaj poniższych linii: jedno drzewo do pokonania
tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)
tree_acc = tree.score(X_test, y_test)
print(f"Single tree: {tree_acc:.3f}")

# Napisz swój kod poniżej