Czy można użyć krzywej Precision-Recall zamiast ROC AUC przy niezrównoważonych klasach?

Tak, przy dużym niezrównoważeniu klas krzywa Precision-Recall (PR) jest często bardziej informatywna niż ROC AUC.

Powód jest taki, że ROC AUC uwzględnia stosunek między True Positive Rate a False Positive Rate, ale przy niezrównoważeniu duża liczba przykładów negatywnych może zniekształcać ocenę, czyniąc ROC AUC zbyt optymistycznym.

Krzywa PR skupia się na Precision (precyzji) i Recall (czułości), co lepiej odzwierciedla jakość modelu w zadaniach z rzadkimi klasami pozytywnymi.

Dlatego, jeśli klasa pozytywna jest rzadka, krzywa PR i odpowiadająca jej metryka (np. Średnia Precyzja) dają bardziej adekwatną ocenę jakości modelu.

Przykład:

• W zadaniu wykrywania oszustw (rzadkie transakcje oszukańcze), krzywa PR pokaże, jak dobrze model wykrywa oszustów bez dużej liczby fałszywych alarmów.

Podsumowując:

• Używaj ROC AUC dla zrównoważonych klas.
• Używaj krzywej Precision-Recall w przypadku silnego niezrównoważenia klas.