Cum să înțelegi dacă un model este bun sau rău? Ce metrici există și ce înseamnă ele?

Evaluarea calității modelului depinde de sarcină (clasificare, regresie etc.) și de scopuri. Principalele metrici:

Pentru sarcini de clasificare:

• Acuratețea (Accuracy) — proporția de predicții corecte din total. Se potrivește pentru clase echilibrate.
• Precizia (Precision) — proporția de adevărați pozitivi printre toți pozitivi prevăzuți.
• Recall (Sensibilitate) — proporția de adevărați pozitivi găsiți printre toți pozitivi reali.
• F1-score — media armonică a preciziei și recall-ului, echilibrează ambele.
• ROC-AUC — aria de sub curba ROC, indică calitatea separării claselor.

Pentru sarcini de regresie:

• MSE (Eroarea medie pătratică) — sensibil la deviații mari.
• MAE (Eroarea medie absolută) — mai robustă la valori extreme.
• R² (Coeficientul de determinare) — arată ce proporție din variație explică modelul.

Un model bun este cel care arată valori ridicate pentru metricile de calitate (de exemplu, în clasificare, precizie și F1 ridicate; în regresie, erori scăzute) pe setul de testare, și nu doar pe cel de antrenament (pentru a evita supraînvățarea). De asemenea, este important să se țină cont de contextul de afaceri și de echilibrul între metrici (de exemplu, uneori, sensibilitatea este mai importantă decât precizia).