Какие методы регуляризации вы знаете? Чем L1 отличается от L2?

Регуляризация — это метод предотвращения переобучения модели за счёт добавления штрафа к функции потерь.

Основные методы регуляризации:

• L1-регуляризация (Lasso): добавляет к функции потерь сумму абсолютных значений весов. Это приводит к разреженности модели — многие веса становятся равны нулю, что помогает в отборе признаков.

• L2-регуляризация (Ridge): добавляет сумму квадратов весов. Она стремится уменьшить веса, но не обнуляет их полностью, что помогает сделать модель более устойчивой.

• Dropout (в нейронных сетях): случайное отключение нейронов во время обучения для предотвращения зависимости от отдельных признаков.

• Early stopping: остановка обучения, когда ошибка на валидации перестаёт уменьшаться.

Отличия L1 и L2:

• L1 приводит к разреженным решениям (многие коэффициенты становятся нулём), что полезно для отбора признаков.
• L2 уменьшает веса, но не обнуляет их, что помогает сгладить модель и уменьшить влияние шумных признаков.

Пример L2-регуляризации в функции потерь:

loss = mse_loss + lambda_ * sum(w**2 for w in weights)

Для L1:

loss = mse_loss + lambda_ * sum(abs(w) for w in weights)