Co je PR-AUC vs ROC-AUC při extrémní nerovnováze?

PR-AUC (plocha pod křivkou přesnosti a odvolání) a ROC-AUC (plocha pod křivkou přijímací charakteristiky) jsou metriky kvality pro binární klasifikaci, ale reagují odlišně na nerovnováhu tříd.

V případech extrémní nerovnováhy (když je pozitivní třída velmi vzácná) je PR-AUC často informativnější, protože se zaměřuje na přesnost (precision) a zpětné volání (recall) pozitivní třídy. ROC-AUC zohledňuje poměr pravdivých pozitivních a falešných pozitivních, ale při silné nerovnováze se mohou falešné pozitivní jevy zdát nevýznamné, což vede k nadhodnocení kvality modelu.

Příklad:

• V úloze detekce anomálií (vzácné pozitivní případy) ukáže PR-AUC, jak dobře model najde tyto vzácné případy bez velkého počtu falešných poplachů.
• ROC-AUC může být vysoké i při špatném odhalování anomálií, pokud model dobře rozpoznává negativní třídu.

Proto se při extrémní nerovnováze doporučuje používat PR-AUC pro realističtější hodnocení modelu.