Экстремалдык дисбаланс учурунда PR-AUC vs ROC-AUC эмне?

PR-AUC (Precision-Recall Area Under Curve) жана ROC-AUC (Receiver Operating Characteristic Area Under Curve) — бул бинардык классификациянын сапаты үчүн метрикалар, бирок алар класстардын дисбалансына ар башкача реакция кылышат.

Экстремалдуу дисбаланс (оң класстын өтө сейрек кездешүүсү) учурда PR-AUC көбүнчө көбүрөөк маалымат берет, анткени ал оң класстын тактыгы (precision) жана эсебин (recall) карайт. ROC-AUC чындык позитивдер жана жалган позитивдердин катышын эске алат, бирок катуу дисбаланс болсо, жалган позитивдер катачылыктары маанилүү көрүнбөй калышы мүмкүн, бул моделдин сапатын жогору баалоого алып келет.

Мисал:

• Аномалияларды аныктоо тапшырмасында (аз кездешүүчү оң учурлар) PR-AUC моделдин ушул сейрек учурларды жалпысынан кандай жакшы табаарын көрсөтөт, көп жалган сигналдарсыз.
• ROC-AUC начар аномалияларды аныктоодо да жогору болушу мүмкүн, эгер модель терс классты жакшы тааный турган болсо.

Ошондуктан, экстремалдуу дисбаланс учурда, моделдин реалистик баалоосу үчүн PR-AUC колдонуу сунушталат.