Quel est le compromis entre sous-apprentissage et surapprentissage?

Le compromis entre le sous-apprentissage (underfitting) et le sur-apprentissage (overfitting) est un équilibre entre un modèle trop simple et un modèle trop complexe.

• Sous-apprentissage se produit lorsque le modèle est trop simple et ne peut pas capturer les tendances dans les données. En conséquence, il fonctionne mal à la fois sur les données d'entraînement et sur de nouvelles données.

• Sur-apprentissage survient lorsque le modèle est trop complexe et mémorise le bruit et les caractéristiques aléatoires des données d'entraînement, ce qui nuit à sa capacité à généraliser à de nouvelles données.

L'équilibre est atteint en sélectionnant un modèle et des paramètres suffisamment complexes pour capturer les dépendances importantes, mais pas trop complexes pour ne pas mémoriser le bruit. Des méthodes de régularisation, de validation croisée et d'ajustement des hyperparamètres sont utilisées à cet effet.

Exemple : si vous avez un modèle de régression trop simple (par exemple, linéaire pour une dépendance complexe), il sera sous-appris, et s'il est trop complexe (par exemple, un polynôme de degré élevé), il sera sur-appris.