特徴量としてのクラスタ

CoddyのMachine Learningジャーニー「教師なし学習」セクションの一部。レッスン 40/51。

直線モデルでは曲線を表現できません。3つの村では、各村の基地局からの距離に応じて携帯電話の電波が弱まりますが、この形状は位置だけでは捉えられません。

3つの村に135軒の家があり、東が右、北が上。それぞれの村では黒い十字（k-meansの中心）の周りに家が集まっている。破線は、赤い家1軒と3つの中心すべてを結んでいる。距離は4.9 km、5.2 km、そして最も近いものは1.0 km

k-means で村を見つけます。km.transform は各行からすべての中心までの距離を求め、.min(axis=1) は最も近い距離を残します：

km = KMeans(n_clusters=3, n_init=10, random_state=0).fit(X_train)
near_train = km.transform(X_train).min(axis=1)
near_test = km.transform(X_test).min(axis=1)
X_train2 = np.column_stack([X_train, near_train])
X_test2 = np.column_stack([X_test, near_test])

この列を1つ追加するだけで、線形モデルのテストR二乗値は0.000から0.886に上昇します。

スケーラーと同様に、訓練用の行だけで k-means を適合させ、その後、両方のデータセットを変換します。

チャレンジ

中級

あるフェスティバルの音響チームは、人々が立っている場所の音の大きさを知りたいと考えています。スターターコードはcrowd.csvを分割し、kを読み取り、位置情報のみから求めたスコアを出力します。

訓練用の位置データに対して、k個のクラスタでk-meansを適合させます。
両方のデータセットで、各行の最も近い中心までの距離を3列目として追加します。
新しいテストのR二乗値と改善幅を、小数点以下3桁で出力します。

別のフェスティバルでk = 4の場合：

Position only: R squared 0.097
With the nearest of 4 centers: R squared 0.734
Gain: 0.637

自分で試してみよう

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.cluster import KMeans

# 250人のフェス参加者：立っていた位置 (m) とその場所の音量 (dB)
crowd = pd.read_csv("crowd.csv")
X = crowd[["x_m", "y_m"]].to_numpy()
y = crowd["sound_db"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
k = int(input())


# 訓練用の列で線形回帰を学習し、テスト用の列での決定係数 R² を返す
def test_r2(A_train, A_test):
    model = LinearRegression().fit(A_train, y_train)
    return model.score(A_test, y_test)


before = test_r2(X_train, X_test)
print(f"Position only: R squared {before:.3f}")

# 以下にコードを書いてください