Se poate folosi curba Precision-Recall în loc de ROC AUC în cazul dezechilibrului claselor?

Da, în caz de dezechilibru puternic al claselor, curba Precision-Recall (PR) este adesea mai informativă decât ROC AUC.

Motivul este că ROC AUC ia în considerare raportul dintre True Positive Rate și False Positive Rate, dar în cazul unui dezechilibru, un număr mare de exemple negative poate distorsiona evaluarea, făcând ROC AUC prea optimist.

Curba PR se concentrează pe Precizie și Recall, ceea ce reflectă mai bine calitatea modelului în sarcinile cu clase pozitive rare.

Prin urmare, dacă clasa pozitivă este rară, curba PR și metrica corespunzătoare (cum ar fi Precizia Medie) oferă o evaluare mai adecvată a calității modelului.

Exemplu:

• Într-o sarcină de detectare a fraudei (transacții frauduloase rare), curba PR va arăta cât de bine identifică modelul fraudatorii fără multe alarme false.

Rezumat:

• Folosiți ROC AUC pentru clase echilibrate.
• Folosiți curba Precision-Recall în caz de dezechilibru puternic al claselor.