Kaip suprasti, ar modelis yra geras ar blogas? Kokios metrikos egzistuoja ir ką jos reiškia?

Modelio kokybės įvertinimas priklauso nuo užduoties (klasifikacija, regresija ir kt.) ir tikslų. Pagrindiniai rodikliai:

Klasifikacijos užduotims:

• Tikslumas (Accuracy) — teisingų prognozių dalis nuo bendro skaičiaus. Tinka subalansuotoms klasėms.
• Precizija (Precision) — teisingai prognozuotų teigiamų pavyzdžių dalis iš visų prognozuotų teigiamų.
• Atkūrimas (Recall) — teisingai atrastų teigiamų pavyzdžių dalis iš visų tikrųjų teigiamų.
• F1 balas — harmoninis precizijos ir atkūrimo vidurkis, kuris juos subalansuoja.
• ROC-AUC — plotas po ROC kreive, rodantis klasių atskyrimo kokybę.

Regresijos užduotims:

• MSE (Vidutinė kvadratinė klaida) — jautri dideliems nuokrypiams.
• MAE (Vidutinė absoliutinė klaida) — labiau atspari išskirtinėms reikšmėms.
• R² (Paaiškinimo koeficientas) — rodo, kiek dalis dispersijos paaiškinama modeliu.

Geras modelis yra tas, kuris rodo aukštas kokybės metrikų reikšmes (pavyzdžiui, aukštą tikslumą ir F1 klasifikacijai, žemus klaidų rodiklius regresijai) testavimo rinkinyje, ir ne tik mokymo rinkinyje (siekiant išvengti per didelio pritaikymo). Taip pat svarbu atsižvelgti į verslo kontekstą ir balansą tarp metrikų (pavyzdžiui, kartais svarbiau yra jautrumas nei tikslumas).