Šta je PR-AUC vs ROC-AUC pri ekstremnom neuravnoteženju?

PR-AUC (Područje ispod krive preciznosti i odziva) i ROC-AUC (Područje ispod krive karakteristike operativnog prijemnika) su metrike kvaliteta za binarnu klasifikaciju, ali reaguju različito na neuravnoteženost klasa.

Kod ekstremne neuravnoteženosti (kada je pozitivna klasa veoma retka), PR-AUC je često informativnija, jer se fokusira na tačnost (precision) i odziv (recall) pozitivne klase. ROC-AUC uzima u obzir odnos između pravih i lažnih pozitivnih, ali pri snažnoj neuravnoteženosti, lažno pozitivni mogu delovati neznatno, što dovodi do precenjivanja kvaliteta modela.

Primer:

• U zadatku detekcije anomalija (retki pozitivni slučajevi), PR-AUC će pokazati koliko dobro model pronalazi te retke slučajeve bez mnogo lažnih alarma.
• ROC-AUC može biti visok čak i pri lošem otkrivanju anomalija, ako model dobro prepoznaje negativnu klasu.

Stoga, pri ekstremnoj neuravnoteženosti, preporučuje se korišćenje PR-AUC za realističniju procenu modela.