Введение в KNN

Урок 6 из 19 курса Введение в машинное обучение на Coddy.

Метод k-ближайших соседей (K-Nearest Neighbors, KNN) — это алгоритм обучения с учителем, который используется как для задач классификации, так и для задач регрессии. Он прост, но эффективен и часто используется в качестве базовой модели для более сложных алгоритмов.

Алгоритм KNN находит сходство признаков, используя метрики расстояния для определения ближайших соседей к точке. Например, он может сортировать вина, сравнивая их с наиболее похожими, например, группируя вина с похожим вкусом. Это похоже на наличие гида, который помогает найти похожие вина на основе их наиболее общих характеристик. 🍷
Идея KNN довольно проста:

Расчет расстояния: Для заданной тестовой точки алгоритм рассчитывает расстояние между этой точкой и каждой другой точкой в обучающем наборе данных. Расстояние можно рассчитать различными способами, например, используя евклидово расстояние или расстояние Манхэттена.
Поиск ближайших соседей: Затем алгоритм выбирает k точек в обучающих данных, которые находятся ближе всего к тестовой точке. k — это определяемая пользователем константа, которая может быть любым целым числом.
Выполнение прогноза: Для классификации алгоритм присваивает тестовой точке наиболее распространенную метку класса среди k ближайших соседей. Для регрессии он присваивает среднее значение ‘k’ ближайших соседей.

KNN — это алгоритм ленивого обучения (lazy learning), что означает, что он на самом деле не строит модель. Вместо этого он запоминает обучающие примеры и использует их для прогнозирования (следующий урок будет посвящен этапу обучения). Это делает KNN вычислительно затратным на этапе тестирования.

Несмотря на свою простоту, KNN может достигать удивительно хороших результатов. Однако он чувствителен к выбору k и типу метрики расстояния, а также плохо работает с многомерными данными из-за «проклятия размерности».

Проверьте себя

В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.

Проверьте себя

В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.

Проверьте себя

В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.

Задание

Легко

В этом испытании мы изучим различные способы расчета расстояния.

Создайте функцию с именем distances_option_calculator, которая принимает три переменные: X, y и distance_type. Функция должна возвращать расстояние между X и y в соответствии с типом distance_type.

Вот список распространенных расчетов расстояния:

Евклидово расстояние (самое распространенное) — это расстояние по прямой между двумя точками. Квадратный корень из суммы квадратов разностей между соответствующими координатами точек:

Манхэттенское расстояние также известно как расстояние городских кварталов или расстояние такси. Это сумма абсолютных разностей координат точек по всем измерениям. Для двух точек ( P ) и ( Q ) с координатами ( (p_1, p_2, …, p_n) ) и ( (q_1, q_2, …, q_n) ) соответственно:

Расстояние Хэмминга: количество позиций, в которых соответствующие символы различны. Оно часто используется для категориальных данных.
Например, возьмем две бинарные строки:

String 1: 1101
String 2: 1001

Сравнивая их попозиционно, мы видим, что во второй позиции биты различаются (1 в String 1 и 0 в String 2). Все остальные позиции одинаковы. Таким образом, расстояние Хэмминга между этими двумя строками равно 1.

Параметр distance_type может принимать следующие значения: "hamming", "manhattan", "euclidian".

Попробуйте сами

def distances_option_calculator(X, y, distance_type):
    # Напишите код здесь
    if distance_type == "euclidian":
        pass
    elif distance_type == "manhattan":
        pass
    elif distance_type == "hamming":
        pass

Все уроки раздела Введение в машинное обучение

1Начало пути в ML

Введение в ML Данные для модели Что такое модель ML

4Алгоритм K-средних

Введение в K-средних Метод fit Метод predict

2Обзор машинного обучения

Обучение с учителем Обучение без учителя

5Наивный Байес

Введение в наивный байесовский классификатор Метод fit Метод predict

3Метод k ближайших соседей (KNN)

Введение в KNNМетод fit Метод predict

6Другие модели

Логистическая регрессия Линейная регрессия Дерево решений Метод опорных векторов (SVM)Тест по моделям

Потренируйтесь самостоятельно: Онлайн-компилятор Python