Kan de Precision-Recall-curve in plaats van de ROC AUC worden gebruikt bij klasse-imbalans?

Ja, bij een sterke klasse-ongelijkheid is de Precision-Recall (PR) curve vaak informatiever dan ROC AUC.

De reden is dat ROC AUC de verhouding tussen True Positive Rate en False Positive Rate in overweging neemt, maar bij ongelijkheid kan een groot aantal negatieve voorbeelden de beoordeling vertroebelen, waardoor ROC AUC te optimistisch wordt.

De PR-curve richt zich op Precision (nauwkeurigheid) en Recall (terugroepingsvermogen), wat de kwaliteit van het model beter weergeeft bij zeldzame positieve klassen.

Dus, als de positieve klasse zeldzaam is, geven de PR-curve en de bijbehorende metriek (zoals Gemiddelde Precisie) een meer passende beoordeling van de modelkwaliteit.

Voorbeeld:

• Bij fraudedetectie (zeldzame frauduleuze transacties) toont de PR-curve hoe goed het model fraudeurs vindt zonder veel valse alarmen.

Samenvatting:

• Gebruik ROC AUC voor gebalanceerde klassen.
• Gebruik de Precision-Recall curve bij sterke klasse-ongelijkheid.