Je možné použiť krivku Precision-Recall namiesto ROC AUC pri nerovnováhe tried?

Áno, pri silnom nerovnováhe tried je krivka Precision-Recall (PR) často informatívnejšia ako ROC AUC.

Dôvodom je, že ROC AUC zohľadňuje pomer medzi True Positive Rate a False Positive Rate, ale pri nerovnováhe môže veľké množstvo negatívnych príkladov skresliť hodnotenie, čím sa ROC AUC stáva príliš optimistickou.

Krivka PR sa zameriava na Precision (presnosť) a Recall (zachytenie), čo lepšie odráža kvalitu modelu v úlohách s vzácnymi pozitívnymi triedami.

Preto ak je pozitívna trieda vzácna, krivka PR a príslušná metrika (napríklad Priemerná presnosť) poskytujú vhodnejšie hodnotenie kvality modelu.

Príklad:

• V úlohe detekcie podvodov (vzácne podvodné transakcie) ukáže krivka PR, ako dobre model odhaľuje podvodníkov bez veľkého množstva falošných poplachov.

Zhrnutie:

• Používajte ROC AUC pre vyvážené triedy.
• Používajte krivku Precision-Recall pri silnej nerovnováhe tried.