Mis on kompromiss alaväärtuse ja üleõppimise vahel?

Kompromiss kahe alahindamise (underfitting) ja üleõppimise (overfitting) vahel on tasakaal liiga lihtsa ja liiga keeruka mudeli vahel.

• Alahindamine toimub, kui mudel on liiga lihtne ega suuda haarata andmetes mustreid. Selle tulemusena töötab see halvasti nii treeningandmetel kui ka uutel andmetel.

• Üleõppimine toimub, kui mudel on liiga keeruline ja mäletab treeningandmete müra ja juhuslikke omadusi, mis halvendab selle üldistamisvõimet uutele andmetele.

See kompromiss saavutatakse valides sellise mudeli ja parameetrid, mis on piisavalt keerulised, et haarata olulisi sõltuvusi, kuid mitte nii keerulised, et mäletaksid müra. Selleks kasutatakse regulaarimise, ristkinnituse ja hüperparameetrite seadistamise meetodeid.

Näide: kui teil on liiga lihtne regressioonimudel (näiteks lineaarne keerulise sõltuvuse korral), on see alahinnatud, ja kui see on liiga keeruline (näiteks kõrge astme polünoom), on see üleõppinud.