Задача классификации с сильным дисбалансом классов: какие метрики хорошие, какие плохие?

При сильном дисбалансе классов стандартная метрика accuracy часто вводит в заблуждение, так как модель может просто предсказывать доминирующий класс и иметь высокий accuracy.

Хорошие метрики:

• Precision и Recall — показывают качество предсказаний для каждого класса отдельно.
• F1-score — гармоническое среднее precision и recall, полезно при дисбалансе.
• ROC-AUC — измеряет качество классификации по всем порогам, но может быть менее информативен при сильном дисбалансе.
• PR-AUC (Precision-Recall AUC) — более информативен при дисбалансе, особенно для редкого положительного класса.

Плохие метрики:

• Accuracy — может быть высокой даже при плохом распознавании редкого класса.

Пример: если положительный класс встречается в 1% случаев, модель, всегда предсказывающая отрицательный класс, будет иметь 99% accuracy, но нулевое качество по положительному классу.