Какие метрики классификации использовать при сильном дисбалансе классов?

При сильном дисбалансе классов стандартные метрики, такие как точность (accuracy), могут вводить в заблуждение, так как модель может просто предсказывать преобладающий класс и иметь высокий показатель.

Для оценки моделей в условиях дисбаланса рекомендуется использовать следующие метрики:

• Precision (точность) — доля правильно предсказанных положительных примеров среди всех предсказанных положительных.
• Recall (полнота) — доля правильно предсказанных положительных примеров среди всех реальных положительных.
• F1-score — гармоническое среднее precision и recall, балансирует между ними.
• ROC-AUC — площадь под ROC-кривой, показывает способность модели различать классы.
• PR-AUC (Precision-Recall AUC) — площадь под кривой precision-recall, особенно полезна при сильном дисбалансе.

Часто для дисбалансных задач важнее полнота (recall), чтобы не пропустить редкие положительные случаи, или F1-score для баланса между полнотой и точностью.

Пример: если задача — обнаружение редких заболеваний, важно минимизировать пропуски (false negatives), поэтому акцент на recall и F1.

Таким образом, при дисбалансе классов стоит использовать метрики, учитывающие качество распознавания редкого класса, а не общую точность.