Mis on PR-AUC vs ROC-AUC äärmusel tasakaalustamatuse korral?

PR-AUC (Precisionsuse-Recall Area Under Curve) ja ROC-AUC (Receiver Operating Characteristic Area Under Curve) on binaarse klassifikatsiooni kvaliteedi mõõdikud, kuid need reageerivad klasside ebavõrdsusele erinevalt.

Ekstreemse ebavõrdsuse korral (kui positiivne klass on väga haruldane), on PR-AUC sageli informatiivsem, kuna see keskendub positiivse klassi täpsusele (precision) ja tagasikutsumisele (recall). ROC-AUC võtab arvesse tõeliste positiivsete ja vale-positiivsete suhteid, kuid tugeva ebavõrdsuse korral võivad vale-positiivsed vead tunduda vähem olulised, mis viib mudeli kvaliteedi ülehindamiseni.

Näide:

• Anomaaliate tuvastamise ülesandes (haruldased positiivsed juhtumid) näitab PR-AUC, kui hästi mudel suudab neid haruldasi juhtumeid leida ilma palju valehäireid.
• ROC-AUC võib olla kõrge isegi halbade anomaaliate tuvastamise korral, kui mudel hästi tunneb negatiivset klassi.

Seetõttu on tugeva ebavõrdsuse korral soovitatav kasutada PR-AUC-d, et saada realistlikum hinnang mudelile.