Qu'est-ce que le biais et la variance dans un modèle?

Le biais (erreur systématique) et la variance (dispersion) sont deux concepts clés décrivant les erreurs d’un modèle d’apprentissage automatique.

• Biais (erreur systématique) : c’est une erreur due à un modèle trop simple, incapable de bien représenter les données. Un modèle avec un biais élevé est sous-appris (underfitting) et prédit mal aussi bien sur les données d’entraînement que sur de nouvelles données.

• Variance (dispersion) : c’est une erreur liée à la sensibilité du modèle au bruit dans les données d’entraînement. Un modèle avec une haute variance est en surapprentissage (overfitting), fonctionne bien sur les données d’entraînement, mais généralise mal aux nouvelles données.

L’équilibre entre biais et variance est crucial pour un bon modèle. En général, en augmentant la complexité du modèle, le biais diminue et la variance augmente.

Exemple :

• Une régression linéaire simple peut avoir un biais élevé si les données sont non linéaires.
• Un modèle complexe, comme un réseau neuronal profond, peut avoir un biais faible mais une haute variance s’il est en surapprentissage sur les données d’entraînement.