Modelden Önce PCA

Coddy'nin Machine Learning Journey'sinin Denetimsiz Öğrenme bölümünün bir parçası. Ders 32 / 51.

Daha az özellik, modeli hızlandırır ve modelin peşinden koşacağı gürültüyü azaltır. PCA, modelden hemen önce bir işlem hattında yer alabilir:

for n in [2, 5, 10, 20, 40, 64]:
    model = make_pipeline(PCA(n_components=n), KNeighborsClassifier())
    print(n, f"{cross_val_score(model, X, y, cv=5).mean():.3f}")

digits veri kümesinde:

Tutulan bileşen sayısına göre digits veri kümesindeki k-NN doğruluğu: 2 ile 0.595, 5 ile 0.884, 10 ile 0.940, ardından neredeyse sabit; 20 ile 0.958'den 64 bileşenin tamamıyla 0.963'e

Doğruluk 20 civarında plato yapar: diğer 44 yön neredeyse hiçbir şey katmaz. Her kat, PCA'yı kendi eğitim satırlarına göre uydurur; böylece veri sızıntısı olmaz.

Karışık birimler mi? Her zamanki gibi önce StandardScaler() ekleyin.

Görev

Orta

Bir zeytinyağı laboratuvarı, yağları 36 dalga boyunda soğurdukları ışığa ve 4 laboratuvar testine göre derecelendiriyor. En az kaç özellik yeterli olur? Program bir tolerans değeri okur.

sizes içindeki her n için şu ardışık işlem hattını 5 katlı çapraz doğrulayın: ölçekleyici, n bileşenli PCA, LogisticRegression(max_iter=1000). Her puanı yazdırın.
Tolerans dahilinde en yüksek puanı alan en az sayıda bileşeni yazdırın.

Başka bir laboratuvar için ve 0.05 değeriyle:

2 components: 0.817
3 components: 0.833
4 components: 0.889
5 components: 0.928
10 components: 0.928
20 components: 0.917
40 components: 0.922
Fewest within 0.05 of the best: 4 components

Kendin dene

import pandas as pd
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score

# 180 zeytinyağı: 36 dalga boyunda soğurulan ışık, 4 laboratuvar testi ve kalite derecesi
oils = pd.read_csv("oils.csv")
X = oils.drop(columns=["oil", "grade"])
y = oils["grade"]
sizes = [2, 3, 4, 5, 10, 20, 40]
slack = float(input())

# Kodunuzu aşağıya yazın