Pourquoi les poids du modèle peuvent-ils devenir grands et pourquoi faut-il les réduire par régularisation?

Les poids du modèle peuvent devenir importants en raison d'une complexité excessive du modèle ou d'une régularisation insuffisante, ce qui conduit à un surapprentissage : le modèle s'ajuste trop précisément aux données d'entraînement, perdant sa capacité de généralisation. Des poids importants peuvent indiquer que le modèle réagit trop fortement à certains traits, ce qui réduit sa stabilité.

La régularisation aide à réduire la magnitude des poids en ajoutant une pénalité à la fonction de perte pour leur taille (par exemple, régularisation L1 ou L2). Cela favorise un modèle plus simple et généralisable, améliorant sa capacité à traiter de nouvelles données.

Exemple de régularisation L2 dans la fonction de perte :

loss = original_loss + lambda_ * sum(w**2 for w in weights)

où lambda_ est le coefficient de régularisation contrôlant la gravité de la pénalité.