Ar galima naudoti Precision-Recall kreivę vietoj ROC AUC nesubalansuotų klasių atveju?

Taip, esant stipriam klasės disbalansui, Precision-Recall (PR) kreivė dažnai yra informatyvesnė nei ROC AUC.

Priežastis ta, kad ROC AUC atsižvelgia į True Positive Rate ir False Positive Rate santykį, tačiau disbalanso atveju, didelis neigiamų pavyzdžių skaičius gali iškreipti įvertinimą, padarydamas ROC AUC per daug optimistinį.

PR kreivė sutelkia dėmesį į Precision (tikslumą) ir Recall (atgavimo rodiklį), kas geriau atspindi modelio kokybę retų teigiamų klasių užduotyse.

Todėl, jei teigiamas klases yra retai, PR kreivė ir atitinkama metrika (pvz., Vidutinė tikslumas) suteikia tinkamesnį modelio kokybės įvertinimą.

Pavyzdys:

• Apgaulės aptikimo užduotyje (retos apgaulingos operacijos), PR kreivė parodys, kaip gerai modelis aptinka apgavikus be daug klaidingų įspėjimų.

Apibendrinimas:

• Naudokite ROC AUC subalansuotoms klasėms.
• Naudokite Precision-Recall kreivę stipriam klasės disbalansui.