Kuidas määratakse ROC-AUC arvutamiseks künnised?

ROC-AUC arvutamiseks on kasutusel künnised, mis on tõenäosuse või mudeli hindamise väärtused, mille alusel klassifikaator otsustab, millisesse klassi objekti määrata.

ROC-kõvera koostamiseks valitakse künnised võimalikest ennustatud tõenäosuste vahemikust (tavaliselt 0 kuni 1). Igal künnisel arvutatakse väärtused True Positive Rate (TPR) ja False Positive Rate (FPR).

Tavaliselt moodustatakse künnised testkomplekti ennustatud tõenäosuste unikaalsete väärtuste põhjal, järjestatuna kahanevalt. See võimaldab hinnata klassifikatsiooni kvaliteeti erinevatel tundlikkuse ja spetsiifilisuse tasemetel.

Hinnanguline algoritm:

1. Saada kõikide objektide ennustatud tõenäosused.
2. Sorteeri unikaalsed tõenäosuste väärtused.
3. Kasuta iga väärtust künnisena, klassifitseerides objektid, mille tõenäosus ületab künnise, positiivseteks.
4. Arvuta TPR ja FPR iga künnise jaoks.

Nende punktide põhjal koostatakse ROC-kõver, ning selle all olev pind (AUC) toimib mudeli kvaliteedi mõõtjana.