Что хотят услышать интервьюеры:

Переобучение — это ситуация, когда модель слишком хорошо запоминает обучающую выборку и начинает хуже работать на новых данных. Обычно важно показать, что понятны причины: слишком сложная модель, мало данных, шум, отсутствие регуляризации. Также ожидают услышать практические способы борьбы: валидация, регуляризация, ранняя остановка, больше данных и упрощение модели.

Определение:

Переобучение — это ухудшение обобщающей способности модели: ошибка на обучении низкая, а на валидации или тесте заметно выше. Модель подстраивается не только под закономерности, но и под случайный шум и особенности конкретной выборки.

Пример использования:

Например, модель для прогнозирования цены квартиры показывает отличное качество на обучающих данных, но сильно ошибается на новых объектах. Это может означать, что она выучила редкие комбинации признаков из train и плохо обобщает.

from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error

X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

model = Ridge(alpha=1.0)
model.fit(X_train, y_train)

train_rmse = mean_squared_error(y_train, model.predict(X_train), squared=False)
val_rmse = mean_squared_error(y_val, model.predict(X_val), squared=False)

print(train_rmse, val_rmse)

Если train_rmse намного меньше val_rmse, это типичный признак переобучения.

Пояснение кода:

В примере данные делятся на обучающую и валидационную части, чтобы проверить качество на невидимых данных. Затем обучается модель с регуляризацией Ridge, которая уменьшает склонность к слишком сложной подгонке. После этого сравниваются ошибки на train и validation: большой разрыв между ними показывает, что модель запомнила обучающую выборку лучше, чем научилась обобщать.

Ключевые моменты:

Переобучение — это разрыв между качеством на train и на новых данных.
Частые причины: слишком сложная модель, мало данных, шум, утечка признаков, слишком долгое обучение.
Основные способы борьбы: регуляризация, ранняя остановка, кросс-валидация, увеличение данных, упрощение модели.
Полезно контролировать не только train-метрики, но и validation/test-метрики.
Если разрыв большой, проблема обычно не в настройке метрики, а в способности модели обобщать.

Что такое переобучение и как с ним бороться?