Sinif balansızlığı halında ROC AUC yerinə Precision-Recall əyrisindən istifadə etmək mümkündürmü?

Bəli, siniflər arasında güclü balanssızlıq olduqda, Precision-Recall (PR) əyri adətən ROC AUC-dən daha məlumatlıdır.

Səbəb odur ki, ROC AUC True Positive Rate və False Positive Rate arasındakı nisbəti nəzərə alır, lakin balanssızlıq zamanı çox sayda mənfi nümunə qiymətləndirməni poza bilər və ROC AUC çox optimist ola bilər.

PR əyri Precision (dəqiqlik) və Recall (yadda saxlam) üzərinə fokuslanır, bu da nadir müsbət siniflər ilə işləyən tapşırıqlarda modelin keyfiyyətini daha yaxşı əks etdirir.

Buna görə də, əgər müsbət sinif nadirdirsə, PR əyri və müvafiq metrik (məsələn, Orta Dəqiqlik) modelin keyfiyyətini daha düzgün qiymətləndirir.

Nümunə:

• Fırıldaqçılığı aşkarlama tapşırığında (nadir fırıldaq əməliyyatları), PR əyri modelin fırıldaqçıları nə dərəcədə yaxşı tapdığını göstərəcək, çox sayda yalnış siqnal olmadan.

Xülasə:

• Tarazlı sinflər üçün ROC AUC istifadə edin.
• Güclü balanssızlıq hallarında Precision-Recall əyrisindən istifadə edin.