Menilai Model

Termasuk bagian Pembelajaran Terawasi dalam perjalanan Machine Learning di Coddy. Pelajaran 4 dari 58.

Apakah modelnya bagus? Akurasi-nya, yaitu proporsi baris uji yang diprediksi dengan benar, memberikan jawabannya. Bandingkan dengan tebakan sederhana:

Dua batang akurasi pada 50 pinjaman uji: tebakan bahwa pembayaran selalu tepat waktu mendapat skor 0.78, model k-NN mendapat skor 0.88

78% pinjaman buku dari library ini dikembalikan tepat waktu, jadi menjawab tepat waktu setiap kali mendapat skor 0.78. Itulah baseline.

from sklearn.metrics import accuracy_score

pred = model.predict(X_test)
print(accuracy_score(y_test, pred))
print(model.score(X_test, y_test))
common = y_train.value_counts().index[0]
print((y_test == common).mean())

Ini mencetak 0.88, 0.88, 0.78. score memprediksi dan menghitung dalam satu pemanggilan; baseline selalu menjawab dengan label pelatihan yang paling umum.

Model hanya layak digunakan jika mengungguli baseline.

Tantangan

Mudah

Sensor milik seorang peternak lebah memantau 160 sarang lebah di hives.csv; swarm menunjukkan apakah setiap sarang lebah berkerumun. Bisakah satu sensor memperingatkannya? Kode awal membaca nama sensor dan melatih model hanya dengan sensor tersebut.

Cetak akurasi pengujiannya, dibulatkan menjadi 3 desimal.
Cetak baseline, dengan menyebutkan label yang selalu diprediksi.
Cetak apakah model mengungguli baseline tersebut.

Untuk peternakan lebah lain dan weight_change_kg:

Model on weight_change_kg: 0.775
Always "no": 0.7
Beats the baseline: yes

Coba sendiri

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# Satu baris untuk setiap sarang: data sensornya dan apakah lebahnya berkerumun
hives = pd.read_csv("hives.csv")
sensor = input()
X = hives[[sensor]]
y = hives["swarm"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
model = KNeighborsClassifier()
model.fit(X_train, y_train)

# Tulis kodemu di bawah ini