Mi a kompromisszum az alul- és túltréning között?

Az alul- és túlillesztés közötti kompromisszum egyensúly a túl egyszerű és túl összetett modell között.

• Alulillesztés akkor fordul elő, amikor a modell túl egyszerű, és nem képes megragadni az adatokban lévő mintákat. Ennek eredményeként rosszul működik mind a tanító, mind az új adatokon.

• Túlillesztés akkor fordul elő, amikor a modell túl összetett, és memorizálja a zajt és a véletlenszerű jellemzőket a tanító adatokban, ami rontja az általánosítási képességét az új adatokra.

Ez a kompromisszum úgy érhető el, hogy olyan modellt és paramétereket választunk, amelyek elég összetettek ahhoz, hogy megragadják a fontos függőségeket, de nem túl összetettek, hogy memorizálják a zajt. Ehhez regulárizációs módszereket, keresztvalidációt és hiperparaméter-beállítást alkalmaznak.

Példa: ha van egy túl egyszerű regressziós modell (pl. lineáris egy összetett függőség esetén), akkor alulillesztett lesz, míg ha túl összetett (pl. magas fokú polinom), akkor túlillesztett lesz.