Случайные леса

Часть раздела Обучение с учителем путешествия по Machine Learning на Coddy. Урок 41 из 58.

Одно дерево решений нестабильно: измените несколько строк обучающих данных — и его вопросы изменятся. В этой главе мы сделаем деревья устойчивыми, объединив множество таких деревьев.

Случайный лес обучает множество деревьев и позволяет им голосовать. Вот как семь деревьев отвечают за один гейзер:

Семь небольших деревьев в ряд, под каждым — его голос: да, да, нет, да, да, нет, да. Стрелки ведут от каждого голоса к одному блоку с надписью «Лес: да, 5 голосов против 2»

В коде это ещё одна модель, которую нужно обучить:

from sklearn.ensemble import RandomForestClassifier

forest = RandomForestClassifier(n_estimators=100, random_state=0)
forest.fit(X_train, y_train)
print(forest.score(X_test, y_test))

На данных за 300 дней гейзера это выводит 0.893, тогда как одно дерево показало результат 0.813. n_estimators — это количество деревьев.

Больше избирателей, меньше ошибок.

Задание

Средне

Школа собак-поводырей хочет заранее знать, какие щенки подойдут. Стартовый код разделяет данные из puppies.csv, оценивает одно дерево и считывает количество деревьев.

Обучи случайный лес с таким количеством деревьев (random_state=0) и выведи точность на тестовых данных.
Выведи, какая модель победила и с каким отрывом, или A tie.

Для другой школы и значения 50:

Single tree: 0.740
Forest: 0.860
The forest wins by 0.120

Затем попробуй значение 1: случайный лес из одного дерева неожиданно показывает плохой результат. В следующем уроке объясняется почему.

Попробуйте сами

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

# Щенки в школе собак-поводырей: спокойствие, концентрация и реакция на громкие звуки (от 1 до 10),
# вес, количество месяцев в семье, которая их воспитывает, и пригодность к работе собакой-поводырём (1) или непригодность (0)
puppies = pd.read_csv("puppies.csv")
X = puppies[["calmness", "focus", "noise_startle", "weight_kg", "months_with_family"]]
y = puppies["qualified"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
trees = int(input())

# Не меняйте строки ниже: одно дерево, результат которого нужно превзойти
tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)
tree_acc = tree.score(X_test, y_test)
print(f"Single tree: {tree_acc:.3f}")

# Напишите свой код ниже