Kā saprast, vai modelis ir labs vai slikts? Kādas metrikas pastāv un ko tās nozīmē?

Modeļa kvalitātes novērtējums ir atkarīgs no uzdevuma (klasifikācija, regresija utt.) un mērķiem. Galvenie rādītāji:

Klasifikācijas uzdevumiem:

• Precizitāte (Accuracy) — pareizo prognožu daļa no kopējā skaita. Labi piemērots līdzsvarotām klasēm.
• Precizitāte (Precision) — pareizi prognozēto pozitīvo daļa no visiem prognozētajiem pozitīvajiem.
• Atgūšana (Recall) — pareizi atrasto pozitīvo daļa no visiem faktiskajiem pozitīvajiem.
• F1 rādītājs — harmoniska precizitātes un atgūšanas vidējā vērtība, kas tās līdzsvaro.
• ROC-AUC — laukums zem ROC līknes, kas rāda klases atdalīšanas kvalitāti.

Regresijas uzdevumiem:

• MSE (Vidējā kvadrātiskā kļūda) — jutīga pret lielām novirzēm.
• MAE (Vidējā absolūtā kļūda) — izturīgāka pret izņēmuma vērtībām.
• R² (Determinācijas koeficients) — rāda, cik daudz dispersijas skaidro modelis.

Labs modelis ir tas, kas rāda augstas kvalitātes metriku vērtības (piemēram, augsta precizitāte un F1 klasifikācijā, zemas kļūdas regresijā) testu kopā, un ne tikai apmācības kopā (lai izvairītos no pārmācīšanās). Tāpat ir svarīgi ņemt vērā biznesa kontekstu un līdzsvaru starp metriku (piemēram, dažreiz ir svarīgāka jutība nekā precizitāte).