Kako shvatiti da li je model dobar ili loš? Koje metrike postoje i šta one znače?

Procena kvaliteta modela zavisi od zadatka (klasifikacija, regresija itd.) i ciljeva. Glavne metrike:

Za zadatke klasifikacije:

• Tačnost (Accuracy) — udeo tačnih predviđanja u ukupnom broju. Dobro za uravnotežene klase.
• Preciznost (Precision) — udeo tačno predviđenih pozitivnih u svim predviđenim pozitivnim.
• Odziv (Recall) — udeo tačno pronađenih pozitivnih u svim stvarnim pozitivnim.
• F1-score — harmonijska sredina preciznosti i odziva, uravnotežava ih.
• ROC-AUC — površina ispod ROC krive, pokazuje kvalitet razdvajanja klasa.

Za regresione zadatke:

• MSE (Srednja kvadratna greška) — osetljiva na velike odklone.
• MAE (Srednja apsolutna greška) — otpornija na izuzetne vrednosti.
• R² (Koeficijent odredjenja) — pokazuje koliko deo varijacije objašnjava model.

Dobar model je onaj koji pokazuje visoke vrednosti metrika kvaliteta (npr. visoka tačnost i F1 za klasifikaciju, niske greške za regresiju) na test skupu, a ne samo na trening skupu (da bi se izbeglo preprilagođavanje). Takođe je važno uzeti u obzir poslovni kontekst i ravnotežu između metrika (npr. ponekad je važnija osetljivost nego tačnost).