Kuidas mõista, kas mudel on alakoormatud või ülekoormatud?

Selleks, et mõista, kas mudel on alakoormatud või ülekoormatud, analüüsitakse vea käitumist treening- ja valideerimiskogumites:

• Alakoormus (underfitting): mudel töötab halvasti nii treening- kui ka testkogumites — viga on kõrge igal pool. See tähendab, et mudel on liiga lihtne ja ei suuda mustreid tabada.

• Ülekoormus (overfitting): mudel näitab treeningkogumil väga madalat viga, kuid testil kõrget. Mudel on liiga hästi treeningandmeid, sealhulgas müra, meelde jätnud ja üldistamine on halb.

Diagnoosimiseks koostatakse sageli vea sõltuvuse graafik mudeli keerukusest või epohhide arvust. Ideaalne mudel on mõlemas kogumis madala veaga.

Näide:

Mudel	Treeningvead	Testvead	Järeldus
Lihtne	Kõrge	Kõrge	Alakoormus
Keeruline	Madal	Kõrge	Ülekoormus
Optimaalne	Madal	Madal	Hea mudel