Cụm làm đặc trưng

Thuộc phần Học không giám sát trong hành trình Machine Learning của Coddy. Bài học 40 trên 51.

Mô hình đường thẳng không thể uốn cong. Tín hiệu điện thoại ở ba ngôi làng yếu dần theo khoảng cách từ trạm phát sóng của mỗi làng, tạo thành một hình dạng mà chỉ riêng vị trí không thể hiện được:

135 ngôi nhà ở ba ngôi làng, phía đông ở bên phải và phía bắc ở phía trên, mỗi ngôi làng nằm quanh một dấu chữ thập màu đen, tâm của thuật toán k-means. Các đường nét đứt nối một ngôi nhà màu đỏ với cả ba tâm: 4.9 km, 5.2 km và gần nhất là 1.0 km

k-means tìm các ngôi làng. km.transform cho biết khoảng cách từ mỗi hàng đến mọi tâm, còn .min(axis=1) giữ lại khoảng cách gần nhất:

km = KMeans(n_clusters=3, n_init=10, random_state=0).fit(X_train)
near_train = km.transform(X_train).min(axis=1)
near_test = km.transform(X_test).min(axis=1)
X_train2 = np.column_stack([X_train, near_train])
X_test2 = np.column_stack([X_test, near_test])

Chỉ với một cột bổ sung đó, R bình phương trên tập kiểm tra của mô hình tuyến tính tăng từ 0.000 lên 0.886.

Huấn luyện k-means chỉ trên các hàng huấn luyện, giống như với bộ chuẩn hóa (scaler), rồi biến đổi cả hai tập.

Thử thách

Trung bình

Đội ngũ âm thanh của lễ hội muốn biết âm thanh lớn đến mức nào ở nơi mọi người đứng. Phần code khởi đầu chia dữ liệu trong crowd.csv, đọc k và in ra điểm số chỉ dựa trên vị trí.

Khớp mô hình k-means với k cụm trên các vị trí trong tập huấn luyện.
Thêm khoảng cách từ mỗi hàng đến tâm gần nhất của nó làm cột thứ ba, trong cả hai tập.
In ra R bình phương mới trên tập kiểm tra và mức tăng, với 3 chữ số thập phân.

Với một lễ hội khác và k = 4:

Position only: R squared 0.097
With the nearest of 4 centers: R squared 0.734
Gain: 0.637

Tự làm thử

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.cluster import KMeans

# 250 người tham dự lễ hội: vị trí họ đứng (m) và mức âm thanh tại đó (dB)
crowd = pd.read_csv("crowd.csv")
X = crowd[["x_m", "y_m"]].to_numpy()
y = crowd["sound_db"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
k = int(input())


# Khớp mô hình hồi quy tuyến tính trên các cột huấn luyện, trả về R bình phương trên các cột kiểm tra
def test_r2(A_train, A_test):
    model = LinearRegression().fit(A_train, y_train)
    return model.score(A_test, y_test)


before = test_r2(X_train, X_test)
print(f"Position only: R squared {before:.3f}")

# Viết code của bạn bên dưới