Mi az a PR-AUC vs ROC-AUC extrém kiegyensúlyozatlanság esetén?

PR-AUC (Pontosság-Recall terület alatti görbe) és ROC-AUC (Receiver Operating Characteristic terület alatti görbe) bináris osztályozás minőségi mérőszámok, de különbözően reagálnak az osztályok kiegyensúlyozatlanságára.

Extrém kiegyensúlyozatlanság esetén (amikor a pozitív osztály nagyon ritka), a PR-AUC gyakran informatívabb, mivel a pozitív osztály pontosságára (precision) és visszahívására (recall) összpontosít. A ROC-AUC figyelembe veszi a valódi pozitív és hamis pozitív arányt, de erős kiegyensúlyozatlanság esetén a hamis pozitív hibák kevésbé tűnhetnek jelentősnek, ami a modell minőségének túlértékeléséhez vezethet.

Példa:

• Anomália felismerési feladatban (ritka pozitív esetek), a PR-AUC megmutatja, mennyire jól találja meg a modell ezeket a ritka eseteket hamis riasztások nélkül.
• ROC-AUC magas lehet még rossz anomália felismerés esetén is, ha a modell jól ismeri a negatív osztályt.

Ezért extrém kiegyensúlyozatlanság esetén ajánlott a PR-AUC használata a modell reálisabb értékeléséhez.