Kas ir PR-AUC vs ROC-AUC ārkārtējas nelīdzsvarotības gadījumā?

PR-AUC (Precizitātes-Atgūšanas laukums zem līknes) un ROC-AUC (Receptera darbības raksturlīknes laukums zem līknes) ir kvalitātes metriķi binārajai klasifikācijai, bet tie reaģē atšķirīgi uz klases nelīdzsvarotību.

Ekstremālas nelīdzsvarotības gadījumā (kad pozitīvā klase ir ļoti reta), PR-AUC bieži ir informatīvāka, jo tā koncentrējas uz pozitīvās klases precizitāti (precision) un atgūšanu (recall). ROC-AUC ņem vērā patiesi pozitīvo un nepatiesi pozitīvo attiecību, bet stipras nelīdzsvarotības gadījumā nepatiesi pozitīvie kļūdas var šķist nenozīmīgas, kas noved pie modeļa kvalitātes pārvērtēšanas.

Piemērs:

• Anomāliju atklāšanas uzdevumā (retas pozitīvas gadījumi) PR-AUC parādīs, cik labi modelis atrod šos retos gadījumus bez daudz nepareiziem signāliem.
• ROC-AUC var būt augsts pat ar sliktu anomāliju atklāšanu, ja modelis labi atpazīst negatīvo klasi.

Tādēļ ekstremālas nelīdzsvarotības gadījumā ieteicams izmantot PR-AUC, lai novērtētu modeli reālistiskāk.