Was ist der Unterschied zwischen L1- und L2-Regularisierung?

L1- und L2-Regularisierung sind Methoden zur Verhinderung von Überanpassung in maschinellen Lernmodellen, indem eine Strafe zur Verlustfunktion hinzugefügt wird.

• L1-Regularisierung (Lasso) fügt der Verlustfunktion die Summe der absoluten Werte der Modellkoeffizienten hinzu:

  [ \lambda \sum |w_i| ]

  Dies führt zu spärlichen Modellen: Viele Koeffizienten tendieren gegen null, was bei der Merkmalsauswahl hilft.

• L2-Regularisierung (Ridge) fügt die Summe der Quadrate der Koeffizienten hinzu:

  [ \lambda \sum w_i^2 ]

  Sie zwingt die Koeffizienten, klein zu sein, setzt sie aber selten auf null, was die Stabilität des Modells verbessert.

Hauptunterschiede:

• L1 fördert Spärlichkeit und Merkmalsauswahl.
• L2 verringert die Größe der Koeffizienten, was das Modell stabiler macht.

Beispiel in Python mit sklearn:

from sklearn.linear_model import LogisticRegression

# L1-Regularisierung
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# L2-Regularisierung
model_l2 = LogisticRegression(penalty='l2')

Die Wahl hängt von der Aufgabe ab: Wenn Merkmalsauswahl wichtig ist — L1, wenn Stabilität und Glättung gewünscht sind — L2.