Τι είναι το PR-AUC vs ROC-AUC σε περίπτωση ακραίας ανισορροπίας;

PR-AUC (Εμβαδόν κάτω από την καμπύλη Precision-Recall) και ROC-AUC (Εμβαδόν κάτω από την καμπύλη χαρακτηριστικών λειτουργίας δέκτη) είναι μετρήσεις ποιότητας για την δυαδική ταξινόμηση, αλλά αντιδρούν διαφορετικά στην ανισορροπία των κλάσεων.

Σε περιπτώσεις ακραίας ανισορροπίας (όταν η θετική κλάση είναι πολύ σπάνια), το PR-AUC είναι συχνά πιο ενημερωτικό, καθώς εστιάζει στην ακρίβεια (precision) και την ανάκληση (recall) της θετικής κλάσης. Το ROC-AUC λαμβάνει υπόψη την αναλογία αληθών θετικών και ψευδών θετικών, αλλά σε περίπτωση ισχυρής ανισορροπίας, τα λάθη ψευδών θετικών μπορεί να φαίνονται ασήμαντα, οδηγώντας σε υπερεκτίμηση της ποιότητας του μοντέλου.

Παράδειγμα:

• Σε μια εργασία ανίχνευσης ανωμαλιών (σπάνιες θετικές περιπτώσεις), το PR-AUC θα δείξει πόσο καλά το μοντέλο εντοπίζει αυτές τις σπάνιες περιπτώσεις χωρίς πολλά ψευδή σήματα.
• Το ROC-AUC μπορεί να είναι υψηλό ακόμα και με κακή ανίχνευση ανωμαλιών, αν το μοντέλο αναγνωρίζει καλά την αρνητική κλάση.

Επομένως, σε περιπτώσεις ακραίας ανισορροπίας, συνιστάται η χρήση του PR-AUC για μια πιο ρεαλιστική αξιολόγηση του μοντέλου.