Qu'est-ce que le compromis biais-variance?

Le compromis biais-variance est un concept fondamental en apprentissage automatique, décrivant le compromis entre deux types d’erreurs lors de l’entraînement d’un modèle :

• Biais (bias) : erreur due à un modèle trop simple qui ne peut pas bien représenter les données (sous-apprentissage).
• Variance : erreur liée à un modèle trop sensible au bruit dans les données d’entraînement et qui généralise mal aux nouvelles données (surapprentissage).

Si le modèle est trop simple, il aura un biais élevé et une variance faible. S’il est trop complexe, il aura un biais faible mais une variance élevée.

L’objectif est de trouver un équilibre où le modèle est suffisamment complexe pour capturer les tendances, mais pas trop pour ne pas s’adapter au bruit.

Exemple : lors de l’entraînement d’une régression avec des polynômes de faible degré (régression linéaire), le biais sera élevé et la variance faible ; avec un polynôme de degré élevé, c’est l’inverse.