Какие метрики наиболее приоритетны при большом дисбалансе классов (99 к 1)?

При сильном дисбалансе классов (например, 99 к 1) стандартные метрики, такие как точность (accuracy), могут быть вводящими в заблуждение, так как модель может просто предсказывать преобладающий класс и иметь высокий accuracy.

Приоритетные метрики:

• Precision и Recall для миноритарного класса. Recall показывает, какую долю положительных примеров модель правильно нашла, а precision — насколько предсказания положительного класса точны.
• F1-score — гармоническое среднее precision и recall, балансирует между ними.
• ROC-AUC — площадь под ROC-кривой, отражает способность модели различать классы.
• PR-AUC (Precision-Recall AUC) — особенно полезна при дисбалансе, так как фокусируется на миноритарном классе.

Важно выбирать метрику в зависимости от задачи: если критично не пропускать положительные случаи — ориентироваться на recall, если важна точность — на precision.