В чем компромисс между недообучением и переобучением?

Компромисс между недообучением (underfitting) и переобучением (overfitting) — это баланс между слишком простой и слишком сложной моделью.

• Недообучение происходит, когда модель слишком проста и не способна уловить закономерности в данных. В результате она плохо работает как на тренировочных, так и на новых данных.

• Переобучение возникает, когда модель слишком сложна и запоминает шум и случайные особенности тренировочных данных, что ухудшает её способность обобщать на новые данные.

Компромисс достигается подбором такой модели и параметров, которые достаточно сложны, чтобы захватывать важные зависимости, но при этом не слишком сложны, чтобы не запоминать шум. Для этого используют методы регуляризации, кросс-валидацию и подбор гиперпараметров.

Пример: если у вас есть модель регрессии, слишком простая (например, линейная при сложной зависимости) будет недообученной, а слишком сложная (например, полином высокой степени) — переобученной.