Что такое overfitting?

Overfitting (переобучение) — это ситуация в машинном обучении, когда модель слишком хорошо подстраивается под обучающие данные, включая шум и случайные колебания, и из-за этого плохо обобщает на новые, невидимые данные.

Проще говоря, модель «запоминает» тренировочные примеры вместо того, чтобы выявлять общие закономерности. В результате на тестовых данных её точность снижается.

Пример: если модель слишком сложная (много параметров) и обучается слишком долго, она может идеально описать тренировочные данные, но при этом плохо работать на новых.

Для борьбы с переобучением используют:

• регуляризацию (L1, L2),
• раннюю остановку обучения (early stopping),
• увеличение объёма данных,
• упрощение модели,
• кросс-валидацию.