Sınıf dengesizliği durumunda ROC AUC yerine Precision-Recall eğrisi kullanılabilir mi?

Evet, sınıflar arasında güçlü bir dengesizlik durumunda, Precision-Recall (PR) eğrisi genellikle ROC AUC'den daha bilgilendiricidir.

Bunun nedeni, ROC AUC'nin True Positive Rate ve False Positive Rate arasındaki oranı dikkate almasıdır, ancak dengesizlik durumunda, çok sayıda olumsuz örnek değerlendirmeyi bozabilir ve ROC AUC'yi çok iyimser yapabilir.

PR eğrisi, Precision (kesinlik) ve Recall (duyarlılık) üzerine odaklanır, bu da nadir pozitif sınıflarla görevlerde model kalitesini daha iyi yansıtır.

Bu nedenle, pozitif sınıf nadir bulunuyorsa, PR eğrisi ve karşılık gelen metrik (örneğin, Ortalama Precision) model kalitesini daha uygun şekilde değerlendirir.

Örnek:

• Dolandırıcılık tespiti görevinde (nadiren görülen sahte işlemler), PR eğrisi modelin dolandırıcıları ne kadar iyi bulduğunu gösterir, çok sayıda yanlış alarm olmadan.

Özetle:

• Dengesiz sınıflar için ROC AUC kullanın.
• Güçlü sınıf dengesizliği durumunda Precision-Recall eğrisini kullanın.