Wat is PR-AUC versus ROC-AUC bij extreme onbalans?

PR-AUC (Precision-Recall Area Under Curve) en ROC-AUC (Receiver Operating Characteristic Area Under Curve) zijn metriek voor de kwaliteit van binaire classificatie, maar ze reageren verschillend op klasse-imbalances.

Bij extreme onbalans (wanneer de positieve klasse zeer zeldzaam is) is PR-AUC vaak meer informatief, omdat het zich richt op de precisie (precisie) en recall (terugroep) van de positieve klasse. ROC-AUC houdt rekening met de verhouding van echte positieven en valse positieven, maar bij sterke onbalans kunnen valse positieve fouten onbeduidend lijken, wat leidt tot een overschatting van de modelkwaliteit.

Voorbeeld:

• Bij een anomaliedetectietaak (zeldzame positieve gevallen) toont PR-AUC hoe goed het model deze zeldzame gevallen vindt zonder veel valse alarmen.
• ROC-AUC kan hoog zijn, zelfs bij slechte anomaliedetectie, als het model de negatieve klasse goed herkent.

Daarom wordt bij extreme onbalans aanbevolen om PR-AUC te gebruiken voor een meer realistische beoordeling van het model.