Что такое регуляризация?

Регуляризация — это метод в машинном обучении, который помогает предотвратить переобучение модели. Она добавляет штраф за сложность модели (например, за большие веса параметров) в функцию потерь, что заставляет модель быть проще и лучше обобщать на новых данных.

Основные виды регуляризации:

• L1-регуляризация (Lasso): добавляет сумму абсолютных значений весов к функции потерь, что может приводить к разреженным моделям (некоторые веса становятся нулями).
• L2-регуляризация (Ridge): добавляет сумму квадратов весов, что уменьшает значения весов, но не обнуляет их.

Пример в Python с L2-регуляризацией (Ridge):

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha — коэффициент регуляризации
model.fit(X_train, y_train)