Почему L1-регуляризация склонна занулять веса, а L2 — нет? Как это математически выводится?

L1-регуляризация (Lasso) добавляет к функции потерь сумму абсолютных значений весов ( \lambda \sum |w_i| ), а L2-регуляризация (Ridge) — сумму квадратов весов ( \lambda \sum w_i^2 ).

Математически:

• L1-регуляризация приводит к разрывной производной в нуле (не дифференцируема в 0), что способствует занулению некоторых весов, так как оптимизация "стремится" к точкам, где веса равны ровно нулю.
• L2-регуляризация имеет гладкую квадратичную форму, производная равна (2\lambda w_i), что приводит к постепенному уменьшению весов, но не к их точному занулению.

Геометрически, при оптимизации с ограничением L1-штрафа область допустимых решений имеет форму ромба с острыми углами, что увеличивает вероятность попадания решения в точки с нулевыми координатами (зануление весов). В случае L2-штрафа область — круглая, что не способствует занулению.

Пример:

\text{L1 penalty: } \lambda |w| \rightarrow \text{производная не определена в } w=0
\text{L2 penalty: } \lambda w^2 \rightarrow \text{производная } 2\lambda w

Поэтому L1-регуляризация используется для отбора признаков, а L2 — для сглаживания весов.