Menu
CoddyTech

选择 k

本课属于 Coddy Machine Learning 学习旅程的“监督学习”单元。第 7 课,共 58 课。

哪个 k 适合这些辣椒?试几个值,并对每个模型评分两次:在模型学习过的行上评分,即训练准确率;在模型未见过的行上评分,即测试准确率。

辣椒数据中准确率随 k 的变化,两条线。训练准确率在 k = 1 时从 1.0 开始,然后下降。测试准确率从 0.8 开始,在 k = 13 时达到峰值 0.92;当 k 超过 80 后,两条线都降至约 0.7

当 k = 1 时,每个辣椒都是自己的最近邻,因此模型会记住数据:在自己的数据行上表现完美,在新的数据行上表现较差。k 很大时,各个组之间的界限会变模糊。

ks = range(1, 120, 6)
train_acc = []
test_acc = []
for k in ks:
    model = KNeighborsClassifier(n_neighbors=k)
    model.fit(X_train, y_train)
    train_acc.append(model.score(X_train, y_train))
    test_acc.append(model.score(X_test, y_test))

目前,选择测试准确率达到峰值时的 k:第 7 章展示了一个更公正的评判标准。

challenge icon

挑战

简单

一家足球俱乐部在 shots.csv 中记录射门数据:距离、角度,以及 goal 或 miss。哪个 k 的预测效果最好?入门代码会拆分数据、列出 ks,并为图表添加标签。

  1. 对每个 k,拟合一个模型,并记录训练准确率和测试准确率。
  2. 像下面这样,打印测试准确率最高的 k。
  3. 以 ks 为横轴绘制两个列表,分别标记为 train 和 test,并添加图例。

另一家俱乐部的数据:

Best k: 9 (test accuracy 0.783)

另一家俱乐部的射门数据:k 从 1 到 41 时的准确率。训练准确率从 k = 1 时的 0.99 降至约 0.71。测试准确率从 0.68 上升,在 k = 9 时达到 0.78 的峰值,随后降至 0.7

然后 Coddy 会描述你的图表。

亲手试试

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# 每次射门占一行:到球门的距离(m)、与球门口的夹角(度)、进球或未进球
shots = pd.read_csv("shots.csv")
X = shots[["distance_m", "angle_deg"]]
y = shots["result"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
ks = range(1, 42, 4)  # k = 1, 5, 9, ..., 41

fig, ax = plt.subplots()
ax.set_title("Shots: Accuracy by k")
ax.set_xlabel("k (neighbors)")
ax.set_ylabel("Accuracy")

# 在下方编写你的代码
quiz icon自我测试

这节课包含一个小测验。开始学习即可作答,并记录你的进度。

监督学习中的所有课

自己练习: Python 在线编译器