Какъв е компромисът между недообучението и пренатоварването?

Компромисът между недообучване (underfitting) и преобучване (overfitting) е баланс между твърде прост и твърде сложен модел.

• Недообучване възниква, когато моделът е твърде прост и не може да улови закономерностите в данните. В резултат той работи зле както върху тренировъчните, така и върху новите данни.

• Преобучване възниква, когато моделът е твърде сложен и запомня шума и случайните характеристики на тренировъчните данни, което влошава способността му да обобщава към нови данни.

Компромисът се постига чрез избор на такъв модел и параметри, които са достатъчно сложни, за да уловят важните зависимости, но не твърде сложни, за да запомнят шума. За това се използват методи за регуляризация, крос-валидация и настройка на хиперпараметри.

Пример: ако имате модел на регресия, който е твърде прост (например линейна при сложна зависимост), той ще бъде недообучен, а ако е твърде сложен (например полином с висока степен), ще бъде преобучен.