Ekstrem muvozanatsizlikda PR-AUC va ROC-AUC nima?

PR-AUC (Precision-Recall Area Under Curve) va ROC-AUC (Receiver Operating Characteristic Area Under Curve) ikki sinfli tasniflash uchun sifat mezonlaridir, ammo ular sinflar muvozanatiga turlicha ta'sir qiladi.

Juda katta muvozanatsizlik (musbat sinf juda kam uchraydigan holatda) PR-AUC ko'pincha ko'proq ma'lumot beradi, chunki u musbat sinfning aniqligi (precision) va chaqirilishi (recall) ga e'tibor qaratadi. ROC-AUC haqiqiy musbatlar va noto'g'ri musbatlar nisbatini hisobga oladi, ammo kuchli muvozanatsizlikda noto'g'ri ijobiylar xatolari kamroq muhim bo'lib ko'rinishi mumkin, bu esa model sifatining ortiqcha baholanishiga olib keladi.

Misol:

• Anomaliyalarni aniqlash vazifasida (kam uchraydigan ijobiy holatlar) PR-AUC modelning bu kam uchraydigan holatlarni noto'g'ri xabarlarsiz qanday yaxshi aniqlashini ko'rsatadi.
• ROC-AUC yomon anomaliyalarni aniqlashda ham yuqori bo'lishi mumkin, agar model salbiy sinfni yaxshi tanisa.

Shuning uchun, juda katta muvozanatsizlikda, modelni yanada realistik baholash uchun PR-AUC dan foydalanish tavsiya etiladi.