Ce este PR-AUC vs ROC-AUC în cazul unui dezechilibru extrem?

PR-AUC (Aria de sub curba de precizie-recall) și ROC-AUC (Aria de sub curba caracteristicii de operare a receptorului) sunt metrici de calitate pentru clasificarea binară, dar reacționează diferit la dezechilibrul claselor.

În caz de dezechilibru extrem (când clasa pozitivă este foarte rară), PR-AUC este adesea mai informativă, deoarece se concentrează pe precizie (precision) și recall-ul (recall) clasei pozitive. ROC-AUC ia în considerare raportul dintre adevărați pozitivi și fals pozitivi, dar în cazul unui dezechilibru puternic, erorile de fals pozitivi pot părea nesemnificative, ceea ce duce la o evaluare supraestimată a calității modelului.

Exemplu:

• Într-o sarcină de detectare a anomaliilor (cazuri pozitive rare), PR-AUC va arăta cât de bine găsește modelul aceste cazuri rare fără multe alarme false.
• ROC-AUC poate fi ridicat chiar și cu o detectare slabă a anomaliilor, dacă modelul recunoaște bine clasa negativă.

Prin urmare, în caz de dezechilibru extrem, se recomandă utilizarea PR-AUC pentru o evaluare mai realistă a modelului.