Koks yra kompromisas tarp nepakankamo ir per didelio mokymosi?

Kompromisas tarp nepakankamo mokymosi (underfitting) ir per didelio mokymosi (overfitting) yra pusiausvyra tarp per paprasto ir per sudėtingo modelio.

• Nepakankamas mokymasis įvyksta, kai modelis yra per paprastas ir nesugeba sugauti duomenų modelių. Dėl to jis blogai veikia tiek mokymo, tiek naujuose duomenyse.

• Per didelis mokymasis įvyksta, kai modelis yra per sudėtingas ir įsimena triukšmą bei atsitiktines mokymo duomenų savybes, kas blogina jo gebėjimą bendrinti naujus duomenis.

Šis kompromisas pasiekiamas pasirenkant tokį modelį ir parametrus, kurie yra pakankamai sudėtingi, kad sugautų svarbias priklausomybes, bet ne per sudėtingi, kad įsimintų triukšmą. Tam naudojamos reguliacijos, kryžminės validacijos ir hiperparametrų nustatymo metodai.

Pavyzdys: jei turite per paprastą regresijos modelį (pvz., linijinį sudėtingoje priklausomybėje), jis bus nepakankamai išmokytas, o jei jis bus per sudėtingas (pvz., aukšto laipsnio polinomai), jis bus per daug išmokytas.