Qu'est-ce que PR-AUC vs ROC-AUC en cas de déséquilibre extrême?

PR-AUC (aire sous la courbe de précision-rappel) et ROC-AUC (aire sous la courbe de la caractéristique opérationnelle du récepteur) sont des métriques de qualité pour la classification binaire, mais elles réagissent différemment au déséquilibre des classes.

En cas de déséquilibre extrême (lorsque la classe positive est très rare), PR-AUC est souvent plus informative, car elle se concentre sur la précision et le rappel de la classe positive. ROC-AUC prend en compte la proportion de vrais positifs et de faux positifs, mais en cas de fort déséquilibre, les erreurs de faux positifs peuvent sembler insignifiantes, ce qui conduit à une évaluation exagérée de la qualité du modèle.

Exemple:

• Dans une tâche de détection d'anomalies (cas positifs rares), PR-AUC montrera à quel point le modèle trouve bien ces cas rares sans beaucoup de faux positifs.
• ROC-AUC peut être élevé même avec une mauvaise détection des anomalies si le modèle reconnaît bien la classe négative.

Par conséquent, en cas de déséquilibre extrême, il est recommandé d'utiliser PR-AUC pour une évaluation plus réaliste du modèle.