Vai var izmantot Precision-Recall līkni vietā ROC AUC gadījumā, ja klases ir nelīdzsvarotas?

Jā, gadījumā, ja klases ir ļoti nelīdzsvarotas, Precision-Recall (PR) līkne bieži ir informatīvāka nekā ROC AUC.

Iemesls ir tas, ka ROC AUC ņem vērā True Positive Rate un False Positive Rate attiecību, bet nelīdzsvarotības gadījumā liels negatīvo piemēru skaits var izkropļot novērtējumu, padarot ROC AUC pārāk optimistisku.

PR līkne koncentrējas uz Precision (precizitāti) un Recall (atgūšanu), kas labāk atspoguļo modeļa kvalitāti ar retām pozitīvām klasēm.

Tādēļ, ja pozitīvā klase ir reta, PR līkne un atbilstošā metrika (piemēram, Vidējā precizitāte) sniedz piemērotāku novērtējumu par modeļa kvalitāti.

Piemērs:

• Krāpšanas noteikšanas uzdevumā (retas krāpnieciskas transakcijas), PR līkne parādīs, cik labi modelis atrod krāpniekus bez daudz nepatiesiem signāliem.

Kopsavilkums:

• Izmantojiet ROC AUC līdzsvarotām klasēm.
• Izmantojiet Precision-Recall līkni stiprai klases nelīdzsvarotībai.