Може ли се користити крива Precision-Recall уместо ROC AUC у случају неравнотеже класа?

Da, u slučajevima jakog neuravnoteženja klasa, kriva Precision-Recall (PR) je često informativnija od ROC AUC.

Razlog je što ROC AUC uzima u obzir odnos između True Positive Rate i False Positive Rate, ali kod neuravnoteženosti, veliki broj negativnih primera može iskriviti procenu, čineći ROC AUC previše optimističnim.

Kriva PR fokusira se na Precision (preciznost) i Recall (odziv), što bolje odražava kvalitet modela u zadacima sa retkim pozitivnim klasama.

Dakle, ako je pozitivna klasa retka, kriva PR i odgovarajuća metrika (npr. Prosečna preciznost) daju prikladniju procenu kvaliteta modela.

Primer:

• U zadatku detekcije prevara (retke prevarne transakcije), kriva PR će pokazati koliko dobro model pronalazi prevarante bez velikog broja lažnih alarma.

Rezime:

• Koristite ROC AUC za uravnotežene klase.
• Koristite krivu Precision-Recall u slučajevima jake neravnoteže klasa.