Wat is het verschil tussen L1- en L2-regularisatie?

L1- en L2-regularisatie zijn methoden om overfitting in machine learning-modellen te voorkomen door een straf toe te voegen aan de verliesfunctie.

• L1-regularisatie (Lasso) voegt aan de verliesfunctie de som van de absolute waarden van de modelcoëfficiënten toe:

  [ \lambda \sum |w_i| ]

  Dit leidt tot sparsere modellen: veel coëfficiënten neigen naar nul, wat helpt bij feature selectie.

• L2-regularisatie (Ridge) voegt de som van de kwadraten van de coëfficiënten toe:

  [ \lambda \sum w_i^2 ]

  Het zorgt ervoor dat de coëfficiënten klein zijn, maar zet ze zelden volledig op nul, wat de stabiliteit van het model verbetert.

Belangrijkste verschillen:

• L1 bevordert sparsiteit en feature selectie.
• L2 vermindert de grootte van de coëfficiënten, waardoor het model stabieler wordt.

Voorbeeld in Python met sklearn:

from sklearn.linear_model import LogisticRegression

# L1-regularisatie
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# L2-regularisatie
model_l2 = LogisticRegression(penalty='l2')

De keuze tussen hen hangt af van de taak: als feature selectie belangrijk is — L1, als stabiliteit en gladstrijken — L2.