Что такое переобучение? Какие есть способы борьбы с ним?

Переобучение (overfitting) — это ситуация, когда модель машинного обучения слишком хорошо подстраивается под обучающие данные, включая шум и случайные колебания, и из-за этого плохо обобщает на новые, невидимые данные.

Способы борьбы с переобучением:

• Регуляризация (L1, L2) — добавление штрафа за сложность модели, чтобы предотвратить слишком большие веса.
• Раннее прекращение обучения (early stopping) — остановка обучения, когда качество на валидационном наборе начинает ухудшаться.
• Увеличение объёма данных — больше данных помогает модели лучше обобщать.
• Кросс-валидация — помогает оценить обобщающую способность модели и подобрать параметры.
• Dropout (для нейронных сетей) — случайное отключение нейронов во время обучения для предотвращения зависимости от отдельных признаков.
• Упрощение модели — уменьшение числа параметров или слоёв.

Пример регуляризации в линейной регрессии:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 регуляризация
model.fit(X_train, y_train)