Kuras metrikas ir visvairāk prioritātes pie lielas klases nelīdzsvarotības (99 pret 1)?

Kad ir cik daudz ir nopietns klašu nelīdzsvarotība (piemēram, 99 pret 1), standarta metriki, piemēram, precizitāte (accuracy), var būt maldinošas, jo modelis var vienkārši prognozēt dominējošo klasi un sasniegt augstu precizitāti.

Prioritātes metriki:

• Precizitāte un Recall mazākajai klasei. Recall rāda, kāda daļa pozitīvo piemēru modelis ir pareizi atradis, bet precizitāte — cik precīzi ir pozitīvo klases prognozes.
• F1-score — harmoniska vidējā vērtība starp precizitāti un recall, kas tās līdzsvaro.
• ROC-AUC — laukums zem ROC līknes, kas atspoguļo modeļa spēju atšķirt klases.
• PR-AUC (Precizitātes un Recall AUC) — īpaši noderīga nelīdzsvarotības gadījumā, jo koncentrējas uz mazākajai klasei.

Ir svarīgi izvēlēties piemērotu metriku atkarībā no uzdevuma: ja ir kritiski ne palaist garām pozitīvos gadījumus — koncentrējieties uz recall; ja precizitāte ir svarīgāka — uz precizitāti.