Ənənəvi balanssızlıq vəziyyətində PR-AUC və ROC-AUC nədir?

PR-AUC (Dairə altında dəqiqlik-xatırlama sahəsi) və ROC-AUC (Receiver Operating Characteristic sahəsi altında dairə) ikili təsnifat üçün keyfiyyət metrikləridir, lakin onlar sinif balanssızlığına fərqli reaksiya verir.

Ən ekstremal balanssızlıq vəziyyətində (müsbət sinif çox nadir olduqda), PR-AUC daha çox məlumat verə bilər, çünki o, müsbət sinifin dəqiqliyi (precision) və xatırlaması (recall) üzərinə fokuslanır. ROC-AUC, həqiqi müsbət və yalnış müsbət halların nisbətini nəzərə alır, lakin güclü balanssızlıqda yalnış müsbət səhvlər önəmli görünməyə bilər, bu da modelin keyfiyyətinin şişirdilmiş qiymətləndirilməsinə səbəb olur.

Nümunə:

• Anomaliya aşkarlanması tapşırığında (nadirdən müsbət hallar) PR-AUC modelin bu nadir halları çox sayda yalnış siqnal vermədən tapıb tapmadığını göstərəcək.
• ROC-AUC, anomaliləri pis aşkarlasa da, model mənfi sinfi yaxşı tanıyırsa, yüksək ola bilər.

Bu səbəbdən, ekstremal balanssızlıq vəziyyətində, modelin daha real qiymətləndirilməsi üçün PR-AUC istifadə etmək tövsiyə olunur.