Aký je kompromis medzi nedostatočným a preťažovaním?

Kompromis medzi nedostatočným učením (underfitting) a preučovaním (overfitting) je rovnováha medzi príliš jednoduchým a príliš zložitým modelom.

• Nedostatočné učenie nastáva, keď je model príliš jednoduchý a nedokáže zachytiť vzory v dátach. Výsledkom je zlý výkon na tréningových aj nových dátach.

• Preučovanie nastáva, keď je model príliš zložitý a memoruje šum a náhodné vlastnosti tréningových dát, čo znižuje jeho schopnosť generalizácie na nové dáta.

Kompromis sa dosahuje výberom takého modelu a parametrov, ktoré sú dostatočne zložité na zachytenie dôležitých závislostí, ale nie tak zložité, aby memorovali šum. Na tento účel sa používajú metódy regularizácie, krížovej validácie a ladenia hyperparametrov.

Príklad: ak máte regresný model príliš jednoduchý (napríklad lineárny pri zložitej závislosti), bude nedostatočne naučený, a ak je príliš zložitý (napríklad polynóm vysokého stupňa), bude preučovaný.