Koji je kompromis između nedovoljnog i prekomernog učenja?

Kompromis između podučenja (underfitting) i prekomernog učenja (overfitting) je ravnoteža između previše jednostavnog i previše složenog modela.

• Podučenje se dešava kada je model previše jednostavan i ne može da uhvati obrasce u podacima. Kao rezultat, loše funkcioniše na trening podacima i novim podacima.

• Prekomerno učenje nastaje kada je model previše složen i pamti šum i slučajne osobine trening podataka, što smanjuje njegovu sposobnost generalizacije na nove podatke.

Ovaj kompromis se postiže izborom modela i parametara koji su dovoljno složeni da uhvate važne zavisnosti, ali ne toliko složeni da pamte šum. Za to se koriste metode regularizacije, unakrsne validacije i podešavanja hiperparametara.

Primer: ako imate model regresije koji je previše jednostavan (npr. linearan za složenu zavisnost), biće podučen, a ako je previše složen (npr. polinom visokog stepena), biće prekomerno učenje.