Cosa sono PR-AUC vs ROC-AUC in caso di squilibrio estremo?

PR-AUC (Area sotto la curva Precision-Recall) e ROC-AUC (Area sotto la curva della caratteristica operativa del ricevitore) sono metriche di qualità per la classificazione binaria, ma reagiscono in modo diverso al disallineamento delle classi.

In casi di disallineamento estremo (quando la classe positiva è molto rara), PR-AUC è spesso più informativa, poiché si concentra sulla precisione e sul richiamo della classe positiva. ROC-AUC considera il rapporto tra veri positivi e falsi positivi, ma in presenza di forte disallineamento, gli errori di falsi positivi possono sembrare insignificanti, portando a una valutazione sovrastimata della qualità del modello.

Esempio:

• In un compito di rilevamento anomalie (casi positivi rari), PR-AUC mostrerà quanto bene il modello individua questi casi rari senza molti falsi positivi.
• ROC-AUC può essere elevato anche con una cattiva rilevazione delle anomalie, se il modello riconosce bene la classe negativa.

Pertanto, in presenza di disallineamento estremo, si consiglia di utilizzare PR-AUC per una valutazione più realistica del modello.