Какие бывают виды регуляризации и как они работают?

Основные виды регуляризации в машинном обучении:

1. L1-регуляризация (Lasso)

   • Добавляет к функции потерь сумму абсолютных значений весов: ( \lambda \sum |w_i| ).
   • Стимулирует разреженность модели, то есть многие веса становятся равны нулю, что помогает в отборе признаков.

2. L2-регуляризация (Ridge)

   • Добавляет сумму квадратов весов: ( \lambda \sum w_i^2 ).
   • Снижает величину весов, предотвращая переобучение, но не обнуляет их полностью.

3. Dropout (для нейронных сетей)

   • Во время обучения случайно "выключает" часть нейронов, что предотвращает зависимость от конкретных путей и улучшает обобщающую способность.

4. Early stopping

   • Останавливает обучение, когда качество на валидационном наборе начинает ухудшаться, предотвращая переобучение.

5. Data augmentation

   • Технически не регуляризация, но помогает улучшить обобщение за счёт искусственного увеличения обучающего набора.

Как они работают:

• Регуляризация добавляет штраф за сложность модели, заставляя её быть проще и менее склонной к переобучению.
• Это помогает модели лучше обобщать на новых данных, а не просто запоминать обучающую выборку.

Пример L2-регуляризации в Python с использованием sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha — коэффициент регуляризации
model.fit(X_train, y_train)