Kas klasside ebavõrdsuse korral saab kasutada Precision-Recall kõverat ROC AUC asemel?

Jah, tugeva klasside ebavõrdsuse korral on Precision-Recall (PR) kõver sageli informatiivsem kui ROC AUC.

Põhjus on see, et ROC AUC arvestab True Positive Rate ja False Positive Rate suhet, kuid ebavõrdsuse korral võib suur negatiivsete näidete arv hindamist moonutada, muutes ROC AUC liiga optimistlikuks.

PR kõver keskendub Precisionile (täpsusele) ja Recallile (taasleidmisele), mis paremini peegeldab mudeli kvaliteeti haruldaste positiivsete klasside puhul.

Seetõttu, kui positiivne klass on haruldane, annavad PR kõver ja vastav metrika (näiteks Keskmine täpsus) sobivama hinnangu mudeli kvaliteedile.

Näide:

• Pettuste avastamise ülesandes (haruldased petturlikud tehingud) näitab PR kõver, kui hästi mudel avastab pettureid ilma palju valehäireid.

Kokkuvõte:

• Kasutage ROC AUC tasakaalustatud klasside jaoks.
• Kasutage Precision-Recall kõverat tugeva klasside ebavõrdsuse korral.