Что показывает PR-AUC и когда её есть смысл применять?

PR-AUC (Precision-Recall Area Under Curve) — это метрика, которая измеряет качество бинарного классификатора, оценивая площадь под кривой зависимости точности (precision) от полноты (recall).

Она особенно полезна при работе с несбалансированными данными, когда положительный класс встречается редко. В таких случаях традиционная метрика ROC-AUC может быть менее информативной, так как большое количество отрицательных примеров смещает оценку.

PR-AUC показывает, насколько хорошо модель умеет находить положительные примеры без большого количества ложных срабатываний. Чем выше значение PR-AUC, тем лучше модель балансирует между точностью и полнотой.

Пример применения: задача обнаружения мошенничества, где важно не пропустить мошеннические транзакции (высокая полнота), но при этом не создавать слишком много ложных тревог (высокая точность).