Kann man bei Klassenungleichgewicht die Precision-Recall-Kurve anstelle des ROC-AUC verwenden?

Ja, bei starkem Klassenungleichgewicht ist die Precision-Recall (PR)-Kurve oft informativer als der ROC AUC.

Der Grund ist, dass der ROC AUC das Verhältnis zwischen True Positive Rate und False Positive Rate berücksichtigt, aber bei Ungleichgewicht kann eine große Anzahl negativer Beispiele die Bewertung verfälschen, was den ROC AUC zu optimistisch macht.

Die PR-Kurve konzentriert sich auf Precision (Genauigkeit) und Recall (Vollständigkeit), was die Modellqualität bei seltenen positiven Klassen besser widerspiegelt.

Wenn also die positive Klasse selten vorkommt, liefern die PR-Kurve und die entsprechende Metrik (z.B. Durchschnittliche Präzision) eine angemessenere Bewertung der Modellqualität.

Beispiel:

• Bei der Betrugserkennung (seltene betrügerische Transaktionen) zeigt die PR-Kurve, wie gut das Modell Betrüger erkennt, ohne viele falsche Alarme.

Kurz gesagt:

• Verwenden Sie ROC AUC für ausgeglichene Klassen.
• Verwenden Sie die Precision-Recall-Kurve bei starkem Klassenungleichgewicht.