Можно ли использовать Precision-Recall кривую вместо ROC AUC при дисбалансе классов?

Да, при сильном дисбалансе классов Precision-Recall (PR) кривая часто более информативна, чем ROC AUC.

Причина в том, что ROC AUC учитывает соотношение между True Positive Rate и False Positive Rate, но при дисбалансе большое количество отрицательных примеров может смазывать оценку, делая ROC AUC слишком оптимистичной.

PR кривая фокусируется на Precision (точности) и Recall (полноте), что лучше отражает качество модели в задачах с редкими положительными классами.

Таким образом, если положительный класс встречается редко, PR кривая и соответствующая метрика (например, Average Precision) дают более адекватную оценку качества модели.

Пример:

• В задаче обнаружения мошенничества (редкие мошеннические транзакции) PR кривая покажет, насколько хорошо модель находит мошенников без большого количества ложных срабатываний.

Итого:

• Используйте ROC AUC для сбалансированных классов.
• Используйте Precision-Recall кривую при сильном дисбалансе классов.