Hoe weet je of een model goed of slecht is? Welke metrics bestaan er en wat betekenen ze?

De beoordeling van de modelkwaliteit hangt af van de taak (classificatie, regressie, enz.) en de doelen. Belangrijke metrics:

Voor classificatietaken:

• Nauwkeurigheid (Accuracy) — verhouding van correcte voorspellingen tot het totaal. Geschikt voor gebalanceerde klassen.
• Precisie (Precision) — verhouding van juiste positieve voorspellingen onder alle voorspelde positives.
• Recall (Sensitiviteit) — verhouding van correct gevonden positives onder alle echte positives.
• F1-score — harmonisch gemiddelde van precisie en recall, dat beide balanceert.
• ROC-AUC — gebied onder de ROC-curve, toont de kwaliteit van scheiding tussen klassen.

Voor regressietaken:

• MSE (Mean Squared Error) — gemiddelde kwadratische fout, gevoelig voor grote afwijkingen.
• MAE (Mean Absolute Error) — gemiddelde absolute fout, robuuster tegen uitschieters.
• R² (Coefficient of determination) — toont welk deel van de variatie wordt verklaard door het model.

Een goed model toont hoge waarden op kwaliteitsmetingen (bijvoorbeeld hoge nauwkeurigheid en F1 voor classificatie, lage fouten voor regressie) op een testset, en niet alleen op de trainingsset (om overfitting te voorkomen). Het is ook belangrijk om de zakelijke context en de balans tussen metrics in overweging te nemen (bijvoorbeeld, soms is recall belangrijker dan precisie).