Wie werden die Schwellenwerte für die Berechnung von ROC-AUC festgelegt?

Schwellenwerte für die Berechnung des ROC-AUC sind Wahrscheinlichkeits- oder Modellbewertungsgrenzwerte, bei denen der Klassifikator entscheidet, welcher Klasse ein Objekt zugeordnet wird.

Zur Erstellung der ROC-Kurve werden die Schwellenwerte aus dem Bereich der möglichen Vorhersagewahrscheinlichkeiten (in der Regel von 0 bis 1) ausgewählt. Bei jedem Schwellenwert werden die Werte für die True Positive Rate (TPR) und die False Positive Rate (FPR) berechnet.

In der Regel werden die Schwellenwerte als eindeutige Werte der vorhergesagten Wahrscheinlichkeiten im Testdatensatz gebildet, die absteigend sortiert sind. Dies ermöglicht die Bewertung der Klassifikationsqualität bei unterschiedlichen Sensitivitäts- und Spezifitätsniveaus.

Ungefähres Algorithmus:

1. Vorhergesagte Wahrscheinlichkeiten für alle Objekte erhalten.
2. Eindeutige Werte der Wahrscheinlichkeiten sortieren.
3. Jeden Wert als Schwellenwert verwenden, wobei Objekte mit einer Wahrscheinlichkeit über dem Schwellenwert als positiv klassifiziert werden.
4. TPR und FPR für jeden Schwellenwert berechnen.

Aus diesen Punkten wird die ROC-Kurve erstellt, und die Fläche unter ihr (AUC) dient als Qualitätsmetrik des Modells.