Kāds ir kompromiss starp nepietiekamu un pārmērīgu apmācību?

Kompromiss starp nepietiekamu mācīšanos (underfitting) un pārāk lielu mācīšanos (overfitting) ir līdzsvars starp pārāk vienkāršu un pārāk sarežģītu modeli.

• Nepietiekama mācīšanās notiek, kad modelis ir pārāk vienkāršs un nespēj uztvert modeļus datos. Rezultātā tas slikti darbojas gan uz apmācības, gan uz jauniem datiem.

• Pārāk liela mācīšanās notiek, kad modelis ir pārāk sarežģīts un atceras troksni un nejaušās īpašības apmācības datos, kas samazina tā spēju vispārināt uz jaunajiem datiem.

Šis kompromiss tiek panākts, izvēloties modeli un parametrus, kas ir pietiekami sarežģīti, lai uztvertu svarīgas atkarības, bet ne tik sarežģīti, lai atcerētos troksni. Šim mērķim tiek izmantotas regulāras metodes, krustvalidācija un hiperparametru pielāgošana.

Piemērs: ja jums ir pārāk vienkāršs regresijas modelis (piemēram, lineārs sarežģītā atkarībā), tas būs nepietiekami apmācīts, bet, ja tas ir pārāk sarežģīts (piemēram, augstākā pakāpes polinom), tas būs pārāk apmācīts.