Что такое PR-AUC vs ROC-AUC при экстремальном дисбалансе?

PR-AUC (Precision-Recall Area Under Curve) и ROC-AUC (Receiver Operating Characteristic Area Under Curve) — это метрики качества бинарной классификации, но они по-разному реагируют на дисбаланс классов.

При экстремальном дисбалансе (когда положительный класс очень редкий) PR-AUC часто более информативна, так как она фокусируется на точности (precision) и полноте (recall) положительного класса. ROC-AUC учитывает соотношение истинноположительных и ложноположительных срабатываний, но при сильном дисбалансе ложноположительные ошибки могут казаться незначительными, что приводит к завышенной оценке качества модели.

Пример:

• В задаче обнаружения аномалий (редкие положительные случаи) PR-AUC покажет, насколько хорошо модель находит именно эти редкие случаи без большого количества ложных срабатываний.
• ROC-AUC может быть высоким даже при плохом обнаружении аномалий, если модель хорошо распознаёт отрицательный класс.

Поэтому при экстремальном дисбалансе рекомендуется использовать PR-AUC для более реалистичной оценки модели.