Czym jest PR-AUC vs ROC-AUC przy ekstremalnym niezrównoważeniu?

PR-AUC (Pole powierzchni pod krzywą precyzji-recall) i ROC-AUC (Pole powierzchni pod krzywą charakterystyki operacyjnej odbiornika) to metryki jakości dla binarnej klasyfikacji, ale reagują inaczej na nierównowagę klas.

Przy ekstremalnej nierównowadze (gdy klasa pozytywna jest bardzo rzadka), PR-AUC jest często bardziej informatywna, ponieważ skupia się na precyzji (precision) i czułości (recall) klasy pozytywnej. ROC-AUC uwzględnia stosunek prawdziwych pozytywów do fałszywych pozytywów, ale przy silnej nierównowadze fałszywe alarmy mogą wydawać się nieistotne, co prowadzi do zawyżonej oceny jakości modelu.

Przykład:

• W zadaniu wykrywania anomalii (rzadkie pozytywne przypadki), PR-AUC pokaże, jak dobrze model znajduje te rzadkie przypadki bez dużej liczby fałszywych alarmów.
• ROC-AUC może być wysoki nawet przy złym wykrywaniu anomalii, jeśli model dobrze rozpoznaje klasę negatywną.

Dlatego przy ekstremalnej nierównowadze zaleca się używanie PR-AUC dla bardziej realistycznej oceny modelu.