Cómo elegir k

Parte de la sección Aprendizaje supervisado del Journey de Machine Learning de Coddy. Lección 7 de 58.

¿Qué valor de k es adecuado para los chiles? Prueba varios y evalúa cada modelo dos veces: en las filas que estudió, la precisión de entrenamiento, y en las filas ocultas, la precisión de prueba.

Precisión según k para los chiles, dos líneas. La precisión de entrenamiento empieza en 1.0 para k = 1 y disminuye. La precisión de prueba empieza en 0.8, alcanza un máximo de 0.92 para k = 13, y ambas líneas bajan a aproximadamente 0.7 después de k = 80

Con k = 1, cada chile es su propio vecino más cercano, así que el modelo memoriza: es perfecto con sus filas y peor con las nuevas. Un valor enorme de k difumina los grupos.

ks = range(1, 120, 6)
train_acc = []
test_acc = []
for k in ks:
    model = KNeighborsClassifier(n_neighbors=k)
    model.fit(X_train, y_train)
    train_acc.append(model.score(X_train, y_train))
    test_acc.append(model.score(X_test, y_test))

Elige el valor de k donde la precisión de prueba alcanza su máximo, por ahora: el capítulo 7 muestra un juez más imparcial.

Desafío

Fácil

Un club de fútbol registra los tiros en shots.csv: distancia, ángulo y goal o miss. ¿Qué valor de k predice mejor? El código inicial los divide, enumera los ks y etiqueta el gráfico.

Para cada valor de k, ajusta un modelo y guarda su precisión en entrenamiento y en prueba.
Imprime el mejor valor de k según la precisión en prueba, como se muestra abajo.
Representa ambas listas frente a ks, con las etiquetas train y test, y una leyenda.

Para otro club:

Best k: 9 (test accuracy 0.783)

Tiros de otro club: precisión según k de 1 a 41. La precisión en entrenamiento baja de 0.99 con k = 1 a aproximadamente 0.71. La precisión en prueba sube de 0.68 hasta un máximo de 0.78 con k = 9, y luego desciende a 0.7

Después, Coddy describe tu gráfico.

Pruébalo tú mismo

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# Una fila por tiro: distancia a la portería (m), ángulo respecto a la boca de la portería (grados), gol o fallo
shots = pd.read_csv("shots.csv")
X = shots[["distance_m", "angle_deg"]]
y = shots["result"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
ks = range(1, 42, 4)  # k = 1, 5, 9, ..., 41

fig, ax = plt.subplots()
ax.set_title("Shots: Accuracy by k")
ax.set_xlabel("k (neighbors)")
ax.set_ylabel("Accuracy")

# Escribe tu código a continuación