Какие виды регуляризации есть? Можете что-то конкретное назвать?

Регуляризация — это метод борьбы с переобучением в моделях машинного обучения, который добавляет штраф за сложность модели в функцию потерь.

Основные виды регуляризации:

• L1-регуляризация (Lasso): добавляет к функции потерь сумму абсолютных значений коэффициентов. Это приводит к разреженности модели, т.е. некоторые коэффициенты становятся равны нулю, что помогает в отборе признаков.

• L2-регуляризация (Ridge): добавляет сумму квадратов коэффициентов. Она не обнуляет коэффициенты, а лишь уменьшает их величину, что стабилизирует модель.

• Elastic Net: сочетает L1 и L2 регуляризации, балансируя между разреженностью и стабильностью.

• Dropout (в нейронных сетях): случайное "выключение" нейронов во время обучения для предотвращения переобучения.

Пример L2-регуляризации в Python с использованием sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha — коэффициент регуляризации
model.fit(X_train, y_train)