Чем PR-AUC отличается от ROC-AUC?

PR-AUC (Precision-Recall Area Under Curve) и ROC-AUC (Receiver Operating Characteristic Area Under Curve) — это метрики для оценки качества бинарных классификаторов, но они отражают разные аспекты и применимы в разных ситуациях.

• ROC-AUC строится на основе зависимости True Positive Rate (чувствительность) от False Positive Rate. Он хорошо показывает, насколько модель способна отличать положительные и отрицательные классы в целом, и устойчив к дисбалансу классов.

• PR-AUC строится на основе зависимости Precision (точность) от Recall (полнота). Эта метрика более информативна при сильном дисбалансе классов, когда положительный класс редок. PR-AUC показывает, насколько хорошо модель находит положительные примеры без большого количества ложных срабатываний.

Пример: если у вас задача обнаружения редких заболеваний, PR-AUC даст более реалистичную оценку качества модели, чем ROC-AUC, так как ROC-AUC может быть завышен из-за большого количества отрицательных примеров.