Что такое регуляризация? Зачем она нужна?

Регуляризация — это метод в машинном обучении, который помогает предотвратить переобучение модели, добавляя штраф за сложность модели в функцию потерь. Это заставляет модель быть проще и обобщать лучше на новых данных.

Основные виды регуляризации:

• L1 (Lasso) — добавляет сумму абсолютных значений коэффициентов, способствует разреженности (многие коэффициенты становятся нулями).
• L2 (Ridge) — добавляет сумму квадратов коэффициентов, уменьшает их величину, но не обнуляет.

Пример в Python с использованием L2-регуляризации в линейной регрессии:

from sklearn.linear_model import Ridge

model = Ridge(alpha=1.0)  # alpha — коэффициент регуляризации
model.fit(X_train, y_train)

Регуляризация нужна, чтобы избежать слишком сложных моделей, которые хорошо работают на обучающей выборке, но плохо — на новых данных.