Használható-e a Precision-Recall görbe a ROC AUC helyett osztálykiegyensúlyozatlanság esetén?

Igen, erőteljes osztálykiegyensúlyozatlanság esetén a Precision-Recall (PR) görbe gyakran informatívabb, mint a ROC AUC.

Az oka, hogy a ROC AUC figyelembe veszi a True Positive Rate és a False Positive Rate arányát, de kiegyensúlyozatlanság esetén sok negatív példa torzíthatja az értékelést, és túl optimistává teheti a ROC AUC-t.

A PR görbe a Precízióra és a Recall-re összpontosít, ami jobban tükrözi a modell minőségét ritka pozitív osztályok esetén.

Ezért, ha a pozitív osztály ritka, a PR görbe és a megfelelő metrika (például az Átlagos Precízió) megfelelőbb értékelést ad a modell minőségéről.

Példa:

• Csalásdetektálási feladatban (ritka csalárd tranzakciók), a PR görbe megmutatja, mennyire jól találja meg a modell a csalókat anélkül, hogy sok hamis riasztást adna.

Összefoglalva:

• Használja a ROC AUC-t kiegyensúlyozott osztályok esetén.
• Használja a Precision-Recall görbét erőteljes osztálykiegyensúlyozatlanság esetén.