اضبط النموذج الفائز

جزء من قسم التعلّم الخاضع للإشراف في رحلة Machine Learning على Coddy. الدرس 53 من 58.

تفوق k-NN باستخدام قيمته الافتراضية البالغة 5 جيران. هل ستصنّف قيمة أخرى لـ k طيور البطريق على نحو أفضل؟ يبحث البحث الشبكي عن درجات كل قيمة k تدرجها باستخدام التحقق المتقاطع، كما في المثال التالي لفحوصات الأورام:

متوسط دقة التحقق المتقاطع لـ k-NN على فحوصات الأورام، لقيم k من 1 إلى 29: تبلغ ذروتها عند k = 3 بقيمة 0.974، ويشير إليها نجم، ثم تنخفض تدريجيًا إلى 0.946 عند k = 29

كما في ضبط خط أنابيب، تُسمّى k باسم خطوتها:

{"kneighborsclassifier__n_neighbors": [3, 5, 7]}

قد يكون التحسّن الأقل من الانحراف المعياري للطيات مجرد حظ. ويستخدم الضبط أيضًا صفوف التدريب فقط.

التحدي

متوسط

خط أنابيب k-NN هو pipe، ويحتوي default على دقته في التحقق المتقاطع مع k = 5. يقرأ البرنامج قيم k المراد تجربتها في ks.

نفّذ بحثًا شبكيًا على تلك القيم باستخدام 5 طيات على صفوف التدريب.
اطبع أفضل قيمة لـ k ودقتها في التحقق المتقاطع، حتى 3 منازل عشرية.
اطبع مقدار التحسن مقارنةً بـ k = 5، حتى 3 منازل عشرية.

لمستعمرة أخرى والشبكة 3, 5, 9:

Best k: 3
CV accuracy: 0.969
Gain over k = 5: 0.009

ثم جرّب القيم الكبيرة فقط، مثل 21 إلى 27. هل يساعد الضبط دائمًا؟

جرّب بنفسك

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import make_pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.neighbors import KNeighborsClassifier

# المستعمرة من Meet the Penguins، وخصائصها وتصنيفها
penguins = pd.read_csv("penguins.csv")
numbers = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
text = ["island", "sex"]
X = penguins[numbers + text]
y = penguins["species"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, stratify=y, random_state=0)

# من Prepare the Data: المساران
number_steps = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
text_steps = make_pipeline(SimpleImputer(strategy="constant", fill_value="unknown"), OneHotEncoder())
prep = ColumnTransformer([("numbers", number_steps, numbers), ("words", text_steps, text)])

# من Choose a Model: النموذج الفائز، k-NN بقيمة k الافتراضية = 5
pipe = make_pipeline(prep, KNeighborsClassifier())
default = cross_val_score(pipe, X_train, y_train, cv=5).mean()

# قيم k التي سنجرّبها
n = int(input())
ks = []
for i in range(n):
    ks.append(int(input()))

# اكتب الكود الخاص بك أدناه