Что такое алгоритм k ближайших соседей?

Алгоритм k ближайших соседей (k-NN) — это простой, непараметрический, ленивый алгоритм машинного обучения, используемый как для классификации, так и для регрессии.

Принцип работы:

1. Классификация: Для новой точки данных алгоритм находит k ближайших точек в обучающем наборе. Класс новой точки определяется большинством голосов среди этих k соседей.
2. Регрессия: Для новой точки данных алгоритм находит k ближайших точек в обучающем наборе. Значение новой точки определяется усреднением значений целевой переменной у этих k соседей.

"Близость" обычно измеряется с помощью метрик расстояния, таких как евклидово расстояние, манхэттенское расстояние или расстояние Минковского.

Выбор значения k является ключевым и может влиять на производительность. Слишком маленькое k чувствительно к шуму, а слишком большое сглаживает границы классов.

Алгоритм относится к "ленивым" (lazy learners), потому что не строит явную модель на этапе обучения, а просто запоминает весь обучающий набор. Все вычисления происходят на этапе предсказания.

Пример использования в Python с помощью библиотеки