Wat is de compromis tussen ondertraining en overtraining?

De compromis tussen onderfitting en overfitting is een balans tussen een te eenvoudig en een te complex model.

• Onderfitting gebeurt wanneer het model te eenvoudig is en de patronen in de gegevens niet kan vastleggen. Als gevolg hiervan presteert het slecht op zowel trainings- als nieuwe gegevens.

• Overfitting ontstaat wanneer het model te complex is en ruis en willekeurige kenmerken van de trainingsgegevens onthoudt, wat het vermogen om te generaliseren naar nieuwe gegevens vermindert.

De compromis wordt bereikt door een model en parameters te kiezen die voldoende complex zijn om belangrijke afhankelijkheden vast te leggen, maar niet zo complex dat ze ruis onthouden. Hiervoor worden methoden zoals regularisatie, kruisvalidatie en hyperparameterafstelling gebruikt.

Voorbeeld: als je een regressiemodel hebt dat te eenvoudig is (bijvoorbeeld lineair bij een complexe afhankelijkheid), is het ondergefit, en als het te complex is (bijvoorbeeld een hooggradig polynoom), is het overgefit.