Что такое алгоритм k ближайших соседей?

Алгоритм k ближайших соседей (k-NN) — это простой, непараметрический, ленивый алгоритм машинного обучения, используемый как для классификации, так и для регрессии.

Принцип работы:

1. Классификация: Для новой точки данных алгоритм находит k ближайших точек в обучающем наборе. Класс новой точки определяется большинством голосов среди этих k соседей.
2. Регрессия: Для новой точки данных алгоритм находит k ближайших точек в обучающем наборе. Значение новой точки определяется усреднением значений целевой переменной у этих k соседей.

"Близость" обычно измеряется с помощью метрик расстояния, таких как евклидово расстояние, манхэттенское расстояние или расстояние Минковского.

Выбор значения k является ключевым и может влиять на производительность. Слишком маленькое k чувствительно к шуму, а слишком большое сглаживает границы классов.

Алгоритм относится к "ленивым" (lazy learners), потому что не строит явную модель на этапе обучения, а просто запоминает весь обучающий набор. Все вычисления происходят на этапе предсказания.

Пример использования в Python с помощью библиотеки scikit-learn:

# Импорт необходимых библиотек
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score

# Загрузка датасета (пример: ирисы)
iris = load_iris()
X, y = iris.data, iris.target

# Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Создание экземпляра классификатора k-NN (выбираем, например, k=3)
knn = KNeighborsClassifier(n_neighbors=3)

# Обучение модели
knn.fit(X_train, y_train)

# Предсказание на тестовой выборке
y_pred = knn.predict(X_test)

# Оценка точности
accuracy = accuracy_score(y_test, y_pred)
# print(f"Точность модели: {accuracy}")

Преимущества:

• Простота реализации и интерпретации.
• Не требует предположений о распределении данных.

Недостатки:

• Высокая вычислительная стоимость на этапе предсказания для больших наборов данных.
• Чувствительность к выбросам и масштабу признаков.
• Неэффективен на высокоразмерных данных.