Qu'est-ce que le surapprentissage et comment le combattre?

Le surapprentissage (overfitting) est une situation où le modèle d'apprentissage automatique s'adapte trop bien aux données d'entraînement, y compris le bruit et les fluctuations aléatoires, et généralise mal aux nouvelles données.

Comment lutter contre le surapprentissage :

• Utiliser plus de données pour l'entraînement.
• Régularisation (L1, L2) — ajouter des pénalités pour la complexité du modèle.
• Arrêt précoce — arrêter l'entraînement lorsque la qualité sur la validation commence à se dégrader.
• Validation croisée — pour évaluer la capacité de généralisation.
• Réduire la complexité du modèle — par exemple, diminuer le nombre de paramètres.
• Augmentation des données — créer des exemples d'entraînement supplémentaires.

Exemple de régularisation en Python avec sklearn :

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # Régularisation L2
model.fit(X_train, y_train)