Waarom neigt L1-regulatie ernaar om de gewichten op nul te zetten, terwijl L2 dat niet doet? Hoe wordt dit wiskundig afgeleid?

L1-regularisatie (Lasso) voegt aan de verliesfunctie de som van de absolute waarden van de gewichten ( \lambda \sum |w_i| ) toe, terwijl L2-regularisatie (Ridge) de som van de kwadraten van de gewichten ( \lambda \sum w_i^2 ) toevoegt.

Wiskundig:

• L1-regularisatie leidt tot een discontinu afgeleide bij nul (niet differentieerbaar in 0), wat bevordert dat sommige gewichten precies nul worden, omdat optimalisatie "richting" punten gaat waar de gewichten exact nul zijn.
• L2-regularisatie heeft een glad, kwadratisch vorm, waarvan de afgeleide (2\lambda w_i) is, wat leidt tot een geleidelijke afname van de gewichten, maar niet tot hun exacte nulwording.

Geometrisch gezien, bij optimalisatie met L1-beperking, heeft de toegestane oplossingsruimte de vorm van een ruit met scherpe hoeken, wat de kans vergroot dat de oplossing op punten met nulcoördinaten (nulgewichten) valt. Bij L2 is de ruimte rond en bevordert het niet nulwording.

Voorbeeld:

\text{L1-penalty: } \lambda |w| \rightarrow \text{ongedefinieerde afgeleide bij } w=0
\text{L2-penalty: } \lambda w^2 \rightarrow \text{afgeleide } 2\lambda w

Daarom wordt L1-regularisatie gebruikt voor kenmerkenselectie, terwijl L2 wordt gebruikt voor het gladmaken van de gewichten.