Čo je PR-AUC vs ROC-AUC pri extrémnom nerovnováhe?

PR-AUC (Oblasť pod krivkou presnosti a spätnej väzby) a ROC-AUC (Oblasť pod krivkou charakteristiky prijímača) sú metriky kvality pre binárnu klasifikáciu, ale reagujú odlišne na nerovnováhu tried.

V prípadoch extrémnej nerovnováhy (keď je pozitívna trieda veľmi zriedkavá), je PR-AUC často informatívnejšia, pretože sa zameriava na presnosť (precision) a spätnej väzby (recall) pozitívnej triedy. ROC-AUC zohľadňuje pomer medzi pravdivými pozitívnymi a falošne pozitívnymi, ale pri silnej nerovnováhe môžu falošne pozitívne chyby pôsobiť nevýznamne, čo vedie k nadhodnoteniu kvality modelu.

Príklad:

• V úlohe detekcie anomálií (zriedkavé pozitívne prípady) ukáže PR-AUC, ako dobre model nájde tieto zriedkavé prípady bez veľkého počtu falošných poplachov.
• ROC-AUC môže byť vysoké aj pri zlom odhalení anomálií, ak model dobre rozpoznáva negatívnu triedu.

Preto sa pri extrémnej nerovnováhe odporúča používať PR-AUC pre realistickejšie hodnotenie modelu.