Bir Modeli Puanlama

Coddy'nin Machine Learning Journey'sinin Denetimli Öğrenme bölümünün bir parçası. Ders 4 / 58.

Bir model iyi mi? Bunu, doğru tahmin ettiği test satırlarının oranı olan doğruluk gösterir. Bunu tembel bir tahminle karşılaştır:

50 test kredisi için doğruluk değerlerini gösteren iki çubuk: her zaman zamanında tahmin etmek 0.78 puan alıyor, k-NN modeli 0.88 puan alıyor

Bu kütüphanenin ödünç alınan kitaplarının %78'i zamanında geri getirildi; bu nedenle her seferinde zamanında yanıt vermek 0.78 puan alır. Bu, temel çizgidir.

from sklearn.metrics import accuracy_score

pred = model.predict(X_test)
print(accuracy_score(y_test, pred))
print(model.score(X_test, y_test))
common = y_train.value_counts().index[0]
print((y_test == common).mean())

Bu, 0.88, 0.88, 0.78 değerlerini yazdırır. score tek çağrıda tahmin eder ve sayar; temel model her zaman eğitimdeki en yaygın etiketi yanıtlar.

Bir model, ancak başlangıç çizgisini geçerek yerini hak eder.

Görev

Kolay

Bir arıcının sensörleri hives.csv dosyasındaki 160 kovana göz kulak oluyor; swarm, her kovanın oğul verip vermediğini belirtiyor. Bir sensör onu uyarabilir mi? Başlangıç kodu bir sensörün adını okuyor ve yalnızca o sensörü kullanarak bir model eğitiyor.

Test doğruluğunu 3 ondalık basamağa yuvarlayarak yazdır.
Her zaman yanıtladığı etiketi belirterek temel ölçütü yazdır.
Modelin temel ölçütü geçip geçmediğini yazdır.

Başka bir arılık ve weight_change_kg için:

Model on weight_change_kg: 0.775
Always "no": 0.7
Beats the baseline: yes

Kendin dene

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# Her kovan için bir satır: sensörleri ve oğul verip vermediği
hives = pd.read_csv("hives.csv")
sensor = input()
X = hives[[sensor]]
y = hives["swarm"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
model = KNeighborsClassifier()
model.fit(X_train, y_train)

# Kodunuzu aşağıya yazın