Какво е PR-AUC срещу ROC-AUC при екстремен дисбаланс?

PR-AUC (Площ под кривата на прецизност-отзоваване) и ROC-AUC (Площ под кривата на характеристиката на оператора на приемника) са метрики за качество на бинарната класификация, но реагират по различен начин на дисбаланса на класовете.

При екстремен дисбаланс (когато положителният клас е много рядък), PR-AUC често е по-информативна, тъй като се фокусира върху точността (precision) и припомнянето (recall) на положителния клас. ROC-AUC взема предвид съотношението между истинските положителни и фалшивите положителни, но при силен дисбаланс фалшивите положителни могат да изглеждат незначителни, което води до преувеличена оценка на качеството на модела.

Пример:

• В задача за откриване на аномалии (редки положителни случаи) PR-AUC ще покаже колко добре моделът намира именно тези редки случаи без много фалшиви аларми.
• ROC-AUC може да бъде висок дори при лошо откриване на аномалии, ако моделът добре разпознава отрицателния клас.

Затова при екстремен дисбаланс се препоръчва използването на PR-AUC за по-реалистична оценка на модела.