Hogyan lehet megérteni, hogy a modell alul- vagy túltanult?

Annak megértéséhez, hogy egy modell alul- vagy túltanított-e, az edzési és validációs készleteken mért hibák viselkedését elemzik:

• Alultanítás (underfitting): a modell rosszul működik mind az edzési, mind a tesztkészleten — a hiba magas mindkettőn. Ez azt jelenti, hogy a modell túl egyszerű, és nem képes megragadni a mintázatokat.

• Túltanítás (overfitting): a modell nagyon alacsony hibát mutat az edzési készleten, de magasat a tesztkészleten. A modell túl jól memorizálta az edzési adatokat, beleértve a zajt is, és rosszul általánosít.

Diagnózis céljából gyakran készítenek hibadiagramot a modell összetettségétől vagy az edzési epochok számától függően. Az ideális modell alacsony hibával rendelkezik mindkét készleten.

Példa:

Modell	Edzési hiba	Teszt hiba	Következtetés
Egyszerű	Magas	Magas	Alultanítás
Komplex	Alacsony	Magas	Túltanítás
Optimális	Alacsony	Alacsony	Jó modell

A túltanítás elleni küzdelemhez regularizációt, több adat gyűjtését, a modell egyszerűsítését vagy korai leállítási módszereket alkalmaznak.