Kas yra PR-AUC vs ROC-AUC ekstremaliu disbalansu?

PR-AUC (Precizumo ir atgavimo plotas po kreive) ir ROC-AUC (Gavėjo veikimo charakteristikos kreivės plotas) yra kokybės matavimai dvejetainėje klasifikacijoje, tačiau jie skirtingai reaguoja į klasių disbalansą.

Esant ekstremaliam disbalansui (kai teigiamoji klasė yra labai reta), PR-AUC dažnai yra informatyvesnė, nes ji sutelkia dėmesį į teigiamojo klases tikslumą (precision) ir atgavimą (recall). ROC-AUC atsižvelgia į tikrųjų teigiamų ir klaidingų teigiamų santykį, tačiau stipraus disbalanso atveju klaidingų teigiamų klaidų gali atrodyti nereikšmingos, kas lemia modelio kokybės pervertinimą.

Pavyzdys:

• Anomalių aptikimo užduotyje (retai pasitaikančios teigiamosios atvejai) PR-AUC parodys, kaip gerai modelis randa būtent šiuos retus atvejus be daug klaidingų signalų.
• ROC-AUC gali būti aukštas net ir blogo anomalijų aptikimo atveju, jei modelis gerai atpažįsta neigiamąją klasę.

Todėl ekstremaliam disbalansui rekomenduojama naudoti PR-AUC, siekiant realistiškesnės modelio įvertinimo.