Выбор модели

Часть раздела Обучение с учителем путешествия по Machine Learning на Coddy. Урок 52 из 58.

Несколько семейств моделей могли бы классифицировать пингвинов. Какая модель подходит лучше всего? Дайте каждой одинаковые наборы данных и одинаковые фолды, а затем сравните их, как эти модели для вина:

Точность пяти фолдов для каждой модели-кандидата на данных о вине показана точками, для среднего значения указана чёрная полоса: логистическая модель — наивысшая и с малым разбросом, 0.970; k-NN — 0.940; дерево — наименьшая, 0.896, при этом точность в одном фолде снизилась до 0.78

Побеждает наибольшее среднее значение. Небольшое стандартное отклонение означает, что модель победила на каждом фолде, а не на одном удачном разбиении.

pipe = make_pipeline(prep, model)
scores = cross_val_score(pipe, X_train, y_train, cv=5)

Каждый фолд заново обучает конвейеры на своей обучающей части, поэтому все оценки остаются честными. Тестовые пингвины остаются недоступными.

Задание

Средне

Четыре кандидата претендуют на эту работу. В заготовке уже есть этапы обработки, списки names и models, а также считывается количество фолдов.

Для каждого кандидата проведи перекрёстную проверку конвейера из prep и этой модели на обучающих строках.
Выведи среднее значение и стандартное отклонение с точностью до 3 знаков после запятой.
Выведи победителя — кандидата с наибольшим средним значением.

Для другой колонии и 5 фолдов:

k-NN: mean 0.951, std 0.031
Logistic regression: mean 0.964, std 0.012
Random forest: mean 0.958, std 0.027
Decision tree: mean 0.902, std 0.048
Winner: Logistic regression

Попробуйте сами

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier

# Колония из урока «Знакомство с пингвинами»: её признаки и целевая метка
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# Из урока «Подготовка данных»: два конвейера обработки
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# Модели-кандидаты
names = ["k-NN", "Logistic regression", "Random forest", "Decision tree"]
models = [KNeighborsClassifier(), LogisticRegression(max_iter=1000),
          RandomForestClassifier(n_estimators=100, random_state=0), DecisionTreeClassifier(random_state=0)]
folds = int(input())

# Напишите свой код ниже