O que é PR-AUC vs ROC-AUC em caso de desequilíbrio extremo?

PR-AUC (Área sob a curva de precisão-recall) e ROC-AUC (Área sob a curva de característica operacional do receptor) são métricas de qualidade para classificação binária, mas reagem de forma diferente ao desequilíbrio de classes.

Em desequilíbrios extremos (quando a classe positiva é muito rara), o PR-AUC costuma ser mais informativo, pois foca na precisão e no recall da classe positiva. ROC-AUC leva em consideração a proporção de verdadeiros positivos e falsos positivos, mas em desequilíbrios fortes, erros falsos positivos podem parecer insignificantes, levando a uma avaliação inflada da qualidade do modelo.

Exemplo:

• Em uma tarefa de detecção de anomalias (casos positivos raros), o PR-AUC mostrará o quão bem o modelo encontra esses casos raros sem muitos falsos positivos.
• ROC-AUC pode ser alto mesmo com uma má detecção de anomalias, se o modelo reconhece bem a classe negativa.

Portanto, em casos de desequilíbrio extremo, recomenda-se usar o PR-AUC para uma avaliação mais realista do modelo.