Какие метрики бывают для оценки классификации, особенно при дисбалансе классов?

При оценке классификации, особенно при дисбалансе классов, важно использовать метрики, учитывающие распределение классов и разные типы ошибок:

• Accuracy (Точность) — доля правильных предсказаний. При сильном дисбалансе может быть вводящей в заблуждение (например, 95% правильных, если 95% объектов одного класса).

• Precision (Точность для положительного класса) — доля правильно предсказанных положительных среди всех предсказанных положительных.

• Recall (Полнота) — доля правильно найденных положительных среди всех реальных положительных.

• F1-score — гармоническое среднее Precision и Recall, балансирует между ними.

• ROC-AUC — площадь под ROC-кривой, показывает качество классификации при разных порогах.

• PR-AUC — площадь под Precision-Recall кривой, более информативна при сильном дисбалансе.

• Matthews Correlation Coefficient (MCC) — учитывает все четыре значения матрицы ошибок, хорошо подходит для дисбалансных данных.

• Specificity (Специфичность) — доля правильно распознанных отрицательных.

Выбор метрики зависит от задачи: например, при обнаружении редких заболеваний важен Recall, чтобы не пропустить больных, а при спаме — Precision, чтобы не блокировать нормальные письма.