Kuidas aru saada, kas mudel on hea või halb? Millised mõõdikud on olemas ja mida need tähendavad?

Mudeli kvaliteedi hindamine sõltub ülesandest (klassifitseerimine, regressioon jne) ja eesmärkidest. Peamised mõõdikud:

Klassifitseerimise ülesannete jaoks:

• Täpsus (Accuracy) — õige prognooside osakaal koguarvust. Sobib tasakaalustatud klassidele.
• Precisionsus (Precision) — õigesti prognoositud positiivsete osakaal kõigist prognoositud positiivsetest.
• Tagasikutsumine (Recall) — õigesti leitud positiivsete osakaal kõigist tegelikest positiivsetest.
• F1 skoor — harmooniline keskmine precisiivsusest ja tagasikutsumisest, tasakaalustab mõlemaid.
• ROC-AUC — ROC kõvera pindala, näitab klasside eristamise kvaliteeti.

Regressiooni ülesannete jaoks:

• MSE (Keskmine ruutviga) — tundlik suurte kõrvalekallete suhtes.
• MAE (Keskmine absoluutne viga) — vastupidavam äärmuslikele väärtustele.
• R² (Determinatsioonikordaja) — näitab, kui palju variatsioonist seletab mudel.

Hea mudel on see, mis näitab kõrgeid kvaliteedimõõdikute väärtusi (näiteks kõrge täpsus ja F1 klassifitseerimisel, madalad vead regressioonis) testandmekogumis ning mitte ainult treeningandmekogumis (üleõppimise vältimiseks). Samuti on oluline arvestada ärikonteksti ja tasakaalu mõõdikute vahel (näiteks mõnikord on olulisem tundlikkus kui täpsus).