Как оценивать качество кластеризации?

Качество кластеризации оценивается с помощью различных метрик, которые можно разделить на три группы:

1. Внутренние метрики (Internal metrics) — оценивают качество кластеров, используя только данные и разбиение, без внешней информации:

   • Silhouette Score — измеряет, насколько объекты внутри кластера похожи друг на друга и насколько они отличаются от объектов других кластеров. Значение от -1 до 1, где близко к 1 — хорошее разделение.
   • Davies-Bouldin Index — среднее отношение внутрикластерного разброса к межкластерному расстоянию. Чем меньше, тем лучше.
   • Calinski-Harabasz Index — отношение межкластерной дисперсии к внутрикластерной. Чем больше, тем лучше.

2. Внешние метрики (External metrics) — сравнивают полученные кластеры с эталонной разметкой:

   • Adjusted Rand Index (ARI) — учитывает совпадения пар объектов в кластерах и эталоне, скорректированный на случай.
   • Normalized Mutual Information (NMI) — измеряет взаимную информацию между кластеризацией и эталоном.

3. Метрики на основе плотности и структуры — для специфичных алгоритмов, например, DBSCAN.

Выбор метрики зависит от задачи и наличия эталонных данных. Если эталон есть — лучше использовать внешние метрики, если нет — внутренние.