Lze při nerovnováze tříd použít křivku Precision-Recall místo ROC AUC?

Ano, při silné nerovnováze tříd je křivka Precision-Recall (PR) často informativnější než ROC AUC.

Důvodem je, že ROC AUC zohledňuje poměr mezi True Positive Rate a False Positive Rate, ale při nerovnováze může velké množství negativních příkladů zkreslit hodnocení, což činí ROC AUC příliš optimistickým.

Křivka PR se zaměřuje na Precision (přesnost) a Recall (zachycení), což lépe odráží kvalitu modelu v úlohách s vzácnými pozitivními třídami.

Proto pokud je pozitivní třída vzácná, křivka PR a odpovídající metrika (například Průměrná přesnost) poskytují vhodnější hodnocení kvality modelu.

Příklad:

• V úloze detekce podvodů (vzácné podvodné transakce) ukáže křivka PR, jak dobře model odhaluje podvodníky bez velkého množství falešných poplachů.

Shrnutí:

• Používejte ROC AUC pro vyvážené třídy.
• Používejte křivku Precision-Recall při silné nerovnováze tříd.