Quelle est la différence entre la régularisation L1 et L2?

La régularisation L1 et L2 sont des méthodes pour prévenir le surapprentissage dans les modèles d'apprentissage automatique en ajoutant une pénalité à la fonction de perte.

• Régularisation L1 (Lasso) ajoute à la fonction de perte la somme des valeurs absolues des coefficients du modèle:

  [ \lambda \sum |w_i| ]

  Cela conduit à des modèles dispersés : de nombreux coefficients tendent vers zéro, ce qui aide à la sélection des caractéristiques.

• Régularisation L2 (Ridge) ajoute la somme des carrés des coefficients:

  [ \lambda \sum w_i^2 ]

  Elle force les coefficients à être petits, mais les met rarement à zéro, ce qui améliore la stabilité du modèle.

Principales différences :

• L1 favorise la dispersion et la sélection de caractéristiques.
• L2 réduit la magnitude des coefficients, rendant le modèle plus stable.

Exemple en Python avec sklearn :

from sklearn.linear_model import LogisticRegression

# Régularisation L1
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# Régularisation L2
model_l2 = LogisticRegression(penalty='l2')

Le choix entre eux dépend de la tâche : si la sélection de caractéristiques est importante — L1, si la stabilité et le lissage — L2.