Chuẩn hóa dữ liệu cho láng giềng

Thuộc phần Học có giám sát trong hành trình Machine Learning của Coddy. Bài học 9 trên 58.

k-NN đo khoảng cách, nên một đặc trưng có giá trị lớn sẽ lấn át các đặc trưng còn lại, như phần 2 đã cảnh báo. Ở đây, khoảng cách đến sông, tính bằng mét, lấn át độ cao:

Hai bản đồ gồm 160 ngôi nhà, khoảng cách đến sông nằm trên trục ngang và độ cao nằm trên trục dọc, nhà bị ngập hoặc khô ráo. Dữ liệu thô: bản đồ bị chia thành các sọc dọc chỉ dựa trên khoảng cách, độ chính xác 0.6. Đã chuẩn hóa: các nhà bị ngập nằm ở góc thấp gần sông, độ chính xác 0.925

Chuẩn hóa trước. Chỉ khớp bộ chuẩn hóa với các hàng huấn luyện, sau đó biến đổi cả hai tập:

scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)
X_test_s = scaler.transform(X_test)
model = KNeighborsClassifier()
model.fit(X_train_s, y_train)
print(model.score(X_test_s, y_test))

Lệnh này in ra 0.925, tăng so với 0.6. Các hàng kiểm tra vẫn chưa được xem: bộ chuẩn hóa không học được gì từ chúng.

Thử thách

Dễ

Đồng hồ thông minh dự đoán thiết bị đang chạy dựa vào công suất (watt) và thời gian chạy (phút), trong meter.csv. Mã khởi đầu đọc k và in độ chính xác của k-NN với các đặc trưng chưa chuẩn hóa.

Khớp một StandardScaler với các hàng huấn luyện rồi biến đổi cả hai tập dữ liệu.
Khớp một mô hình k-NN có cùng k với các hàng đã chuẩn hóa, rồi in độ chính xác đến 3 chữ số thập phân.
In mức cải thiện.

Với một hộ gia đình khác và k = 5:

Unscaled accuracy: 0.65
Scaled accuracy: 0.875
Scaling gains 0.225

Tự làm thử

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler

# Mỗi hàng ghi một lần chạy thiết bị: công suất tính bằng watt, thời gian chạy tính bằng phút và loại thiết bị
meter = pd.read_csv("meter.csv")
X = meter[["watts", "minutes"]]
y = meter["appliance"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
k = int(input())

# k-NN trên các đặc trưng chưa chuẩn hóa
raw_model = KNeighborsClassifier(n_neighbors=k)
raw_model.fit(X_train, y_train)
raw = raw_model.score(X_test, y_test)
print(f"Unscaled accuracy: {round(raw, 3)}")

# Viết code bên dưới