Was ist PR-AUC vs ROC-AUC bei extremem Ungleichgewicht?

PR-AUC (Fläche unter der Precision-Recall-Kurve) und ROC-AUC (Fläche unter der Receiver Operating Characteristic-Kurve) sind Metriken für die Qualität binärer Klassifikationen, reagieren jedoch unterschiedlich auf Klassenungleichgewicht.

Bei extremem Ungleichgewicht (wenn die positive Klasse sehr selten ist) ist PR-AUC oft informativer, da sie sich auf die Genauigkeit (Precision) und den Rückruf (Recall) der positiven Klasse konzentriert. ROC-AUC berücksichtigt das Verhältnis von echten Positiven zu falsch Positiven, aber bei starkem Ungleichgewicht können falsch positive Fehler gering erscheinen, was zu einer überschätzten Bewertung der Modellqualität führt.

Beispiel:

• Bei einer Anomalieerkennungsaufgabe (seltene positive Fälle) zeigt PR-AUC, wie gut das Modell diese seltenen Fälle ohne viele falsche Alarme erkennt.
• ROC-AUC kann hoch sein, auch wenn die Anomalien schlecht erkannt werden, wenn das Modell die negative Klasse gut erkennt.

Daher wird bei extremem Ungleichgewicht empfohlen, PR-AUC für eine realistischere Bewertung des Modells zu verwenden.