Menu
CoddyTech

为近邻进行特征缩放

本课属于 Coddy Machine Learning 学习旅程的“监督学习”单元。第 9 课,共 58 课。

k-NN 会测量距离,所以数值较大的特征会压过其他特征,正如第 2 单元所说。这里,河流距离以米为单位,掩盖了海拔的影响:

两张展示 160 栋房屋的地图,横轴为到河流的距离,纵轴为海拔,房屋被标为被淹或未被淹。未缩放:地图仅按距离被切成竖条,准确率为 0.6。缩放后:被淹的房屋集中在靠近河流的低海拔角落,准确率为 0.925

先进行缩放。只用训练行来拟合缩放器,然后转换两组数据:

scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)
X_test_s = scaler.transform(X_test)
model = KNeighborsClassifier()
model.fit(X_train_s, y_train)
print(model.score(X_test_s, y_test))

这会输出 0.925,比 0.6 高。测试行仍然不可见:缩放器不会从中学习任何内容。

challenge icon

挑战

简单

智能电表根据设备的功率(瓦特)和运行时间(分钟),猜测正在运行的电器,数据位于 meter.csv 中。起始代码会读取 k,并输出 k-NN 在未缩放特征上的准确率。

  1. 在训练行上拟合 StandardScaler,并转换两组数据。
  2. 在缩放后的数据上拟合同一个 k 值的 k-NN 模型,并将准确率打印到小数点后 3 位。
  3. 打印提升幅度。

对于另一个家庭,且 k = 5:

Unscaled accuracy: 0.65
Scaled accuracy: 0.875
Scaling gains 0.225

亲手试试

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler

# 每行记录一次电器运行:功率单位为瓦,运行时间单位为分钟,以及电器种类
meter = pd.read_csv("meter.csv")
X = meter[["watts", "minutes"]]
y = meter["appliance"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
k = int(input())

# 使用原始特征进行 k-NN 分类
raw_model = KNeighborsClassifier(n_neighbors=k)
raw_model.fit(X_train, y_train)
raw = raw_model.score(X_test, y_test)
print(f"Unscaled accuracy: {round(raw, 3)}")

# 在下方编写你的代码
quiz icon自我测试

这节课包含一个小测验。开始学习即可作答,并记录你的进度。

监督学习中的所有课

自己练习: Python 在线编译器