Aşırı dengesizlik durumunda PR-AUC ve ROC-AUC nedir?

PR-AUC (Precision-Recall Eğrisi Altında Alan) ve ROC-AUC (Receiver Operating Characteristic Eğrisi Altında Alan) ikili sınıflandırma için kalite metrikleridir, ancak sınıf dengesizliğine farklı tepki verirler.

Aşırı dengesizlik durumunda (pozitif sınıf çok nadir olduğunda), PR-AUC genellikle daha bilgilendiricidir çünkü pozitif sınıfın doğruluğuna (precision) ve hatırlanmasına (recall) odaklanır. ROC-AUC, gerçek pozitif ve yanlış pozitif oranlarını dikkate alır, ancak güçlü dengesizliklerde yanlış pozitif hatalar önemsiz görünebilir, bu da modelin kalitesinin abartılı bir şekilde değerlendirilmesine yol açar.

Örnek:

• Anomali tespiti görevinde (nadiren pozitif olan durumlar), PR-AUC, modelin bu nadir durumları çok sayıda yanlış alarm olmadan ne kadar iyi tespit ettiğini gösterir.
• ROC-AUC, anomalilerin kötü tespit edilmesine rağmen yüksek olabilir, eğer model negatif sınıfı iyi tanıyorsa.

Bu nedenle, aşırı dengesizlik durumlarında, modelin daha gerçekçi bir değerlendirmesi için PR-AUC kullanılması önerilir.