Hoe worden de drempels bepaald voor de berekening van ROC-AUC?

Drempels voor het berekenen van de ROC-AUC zijn probabiliteits- of modelbeoordelingsdrempels waarbij de classifier beslist tot welke klasse een object behoort.

Voor het opbouwen van de ROC-curve worden de drempels gekozen uit het bereik van mogelijke voorspelde probabiliteiten (meestal van 0 tot 1). Bij elke drempel worden de waarden van True Positive Rate (TPR) en False Positive Rate (FPR) berekend.

Meestal worden de drempels gevormd als unieke waarden van de voorspelde probabiliteiten in de testset, gesorteerd van hoog naar laag. Dit maakt het mogelijk om de classificatiekwaliteit op verschillende gevoeligheids- en specificiteitsniveaus te beoordelen.

Geschat algoritme:

1. Verkrijg de voorspelde probabiliteiten voor alle objecten.
2. Sorteer de unieke waarden van de probabiliteiten.
3. Gebruik elke waarde als drempel, waarbij objecten met een waarschijnlijkheid boven de drempel als positief worden geclassificeerd.
4. Bereken TPR en FPR voor elke drempel.

Op basis van deze punten wordt de ROC-curve getekend, en het gebied eronder (AUC) dient als maat voor de kwaliteit van het model.