Comment savoir si un modèle est bon ou mauvais ? Quelles métriques existent et que signifient-elles ?

L'évaluation de la qualité du modèle dépend de la tâche (classification, régression, etc.) et des objectifs. Les métriques principales :

Pour les tâches de classification :

• Précision (Accuracy) — proportion de prédictions correctes sur le total. Convient pour des classes équilibrées.
• Précision (Precision) — proportion de vrais positifs parmi tous les positifs prédits.
• Rappel (Recall) — proportion de vrais positifs trouvés parmi tous les positifs réels.
• F1-score — moyenne harmonique de précision et rappel, équilibrant les deux.
• ROC-AUC — aire sous la courbe ROC, indique la qualité de séparation des classes.

Pour les tâches de régression :

• MSE (Erreur Quadratique Moyenne) — erreur quadratique moyenne, sensible aux grandes déviations.
• MAE (Erreur Absolue Moyenne) — erreur absolue moyenne, plus robuste aux valeurs aberrantes.
• R² (Coefficient de détermination) — indique la proportion de la variance expliquée par le modèle.

Un bon modèle est celui qui affiche des valeurs élevées pour les métriques de qualité (par exemple, haute précision et F1 pour la classification, faibles erreurs pour la régression) sur un échantillon de test, et pas seulement sur l'ensemble d'entraînement (pour éviter le surapprentissage). Il est également important de prendre en compte le contexte métier et l'équilibre entre les métriques (par exemple, parfois la sensibilité est plus importante que la précision).