Μπορεί να χρησιμοποιηθεί η καμπύλη Precision-Recall αντί του ROC AUC σε περίπτωση ανισορροπίας των κλάσεων;

Ναι, σε περιπτώσεις έντονης ανισορροπίας των κλάσεων, η καμπύλη Precision-Recall (PR) είναι συχνά πιο ενημερωτική από το ROC AUC.

Ο λόγος είναι ότι το ROC AUC λαμβάνει υπόψη τη σχέση μεταξύ True Positive Rate και False Positive Rate, αλλά σε περιπτώσεις ανισορροπίας, ένας μεγάλος αριθμός αρνητικών παραδειγμάτων μπορεί να διαστρεβλώσει την αξιολόγηση, καθιστώντας το ROC AUC υπερβολικά αισιόδοξο.

Η καμπύλη PR εστιάζει στην Precision (ακρίβεια) και το Recall (ανάκληση), που αντικατοπτρίζει καλύτερα την ποιότητα του μοντέλου σε εργασίες με σπάνιες θετικές κλάσεις.

Επομένως, αν η θετική κλάση είναι σπάνια, η καμπύλη PR και η αντίστοιχη μετρική (π.χ. Μέση Ακρίβεια) παρέχουν μια πιο κατάλληλη αξιολόγηση της ποιότητας του μοντέλου.

Παράδειγμα:

• Σε μια εργασία ανίχνευσης απάτης (σπάνιες απατηλές συναλλαγές), η καμπύλη PR θα δείξει πόσο καλά εντοπίζει το μοντέλο τους απατεώνες χωρίς πολλά ψευδή σήματα.

Περίληψη:

• Χρησιμοποιήστε το ROC AUC για ισορροπημένες κλάσεις.
• Χρησιμοποιήστε την καμπύλη Precision-Recall σε περιπτώσεις έντονης ανισορροπίας κλάσεων.