Chọn mô hình

Thuộc phần Học có giám sát trong hành trình Machine Learning của Coddy. Bài học 52 trên 58.

Có nhiều họ mô hình có thể phân loại chim cánh cụt. Mô hình nào phù hợp nhất? Hãy chia dữ liệu cho từng mô hình thành các phần và các lượt giống nhau, rồi so sánh, như với các mô hình phân loại rượu vang này:

Độ chính xác qua năm lượt kiểm định chéo của từng mô hình ứng viên trên dữ liệu rượu vang, biểu diễn bằng các chấm, với một vạch đen tại giá trị trung bình: hồi quy logistic cao nhất và ổn định ở mức 0.970, k-NN ở mức 0.940, cây quyết định thấp nhất ở mức 0.896, với một lượt giảm xuống 0.78

Giá trị trung bình cao nhất sẽ thắng. Độ lệch chuẩn nhỏ cho thấy mô hình thắng ở mọi fold, chứ không chỉ ở một lần chia dữ liệu may mắn.

pipe = make_pipeline(prep, model)
scores = cross_val_score(pipe, X_train, y_train, cv=5)

Mỗi lượt chia đều huấn luyện lại các quy trình trên phần dữ liệu huấn luyện riêng, nên mọi điểm số đều đáng tin cậy. Dữ liệu chim cánh cụt kiểm tra vẫn được giữ nguyên.

Thử thách

Trung bình

Có bốn ứng viên muốn nhận công việc này. Phần code khởi đầu đã có sẵn các làn xử lý, danh sách names và models, đồng thời đọc số lượng fold.

Với mỗi ứng viên, hãy đánh giá chéo pipeline gồm prep và mô hình đó trên các hàng dữ liệu huấn luyện.
In giá trị trung bình và độ lệch chuẩn của mô hình, với 3 chữ số thập phân.
In ứng viên chiến thắng: mô hình có giá trị trung bình cao nhất.

Với một đàn chim cánh cụt khác và 5 fold:

k-NN: mean 0.951, std 0.031
Logistic regression: mean 0.964, std 0.012
Random forest: mean 0.958, std 0.027
Decision tree: mean 0.902, std 0.048
Winner: Logistic regression

Tự làm thử

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier

# Đàn chim cánh cụt từ Meet the Penguins, các đặc trưng và nhãn của chúng
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# Từ Prepare the Data: hai luồng xử lý
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# Các mô hình ứng viên
names = ["k-NN", "Logistic regression", "Random forest", "Decision tree"]
models = [KNeighborsClassifier(), LogisticRegression(max_iter=1000),
          RandomForestClassifier(n_estimators=100, random_state=0), DecisionTreeClassifier(random_state=0)]
folds = int(input())

# Viết code của bạn bên dưới