Почему L1 регуляризация зануляет веса? Объясните механизм.

L1-регуляризация добавляет к функции потерь сумму абсолютных значений весов (||w||₁). Это приводит к тому, что при оптимизации многие веса стремятся к нулю, то есть становятся точно равными нулю.

Механизм:

• Абсолютное значение не дифференцируемо в нуле, что создаёт "угловатый" ландшафт функции потерь.
• При минимизации функции с L1-регуляризацией оптимизатор предпочитает занулять некоторые веса, чтобы уменьшить сумму абсолютных значений.
• В результате модель становится разреженной, то есть с меньшим числом активных признаков.

Это полезно для отбора признаков и предотвращения переобучения.