Какие метрики оценки anomaly detection при дисбалансе?

При оценке моделей обнаружения аномалий (anomaly detection) на несбалансированных данных важно использовать метрики, которые корректно отражают качество работы модели, учитывая редкость аномалий.

Основные метрики:

• Precision (точность) — доля правильно обнаруженных аномалий среди всех помеченных как аномалии.
• Recall (полнота) — доля обнаруженных аномалий среди всех реальных аномалий.
• F1-score — гармоническое среднее precision и recall, балансирует между ними.
• Area Under the Precision-Recall Curve (AUPRC) — особенно полезна при сильном дисбалансе, так как фокусируется на качестве обнаружения положительных классов.
• ROC-AUC — часто используется, но при сильном дисбалансе может быть менее информативна.

Важно избегать метрик, чувствительных к дисбалансу, например, accuracy, так как высокая точность может быть достигнута просто за счёт правильной классификации большинства нормальных случаев.

Пример: если аномалий 1%, то модель, всегда предсказывающая норму, будет иметь 99% accuracy, но нулевую полезность.