Kokios yra kovos su per dideliu mokymusi metodai ir kaip jie veikia?

Perteklumas (overfitting) įvyksta, kai modelis per daug gerai prisitaiko prie mokymo duomenų, praranda gebėjimą bendrai taikyti naujiems duomenims. Metodai, kaip kovoti su pertekliniu prisitaikymu:

• Reguliavimas — pridėti baudą prie nuostolių funkcijos už modelio sudėtingumą. Pavyzdžiui, L1 (Lasso) ir L2 (Ridge) reguliavimai sumažina parametrų svorius, užkertant kelią per dideliam sudėtingumui.

• Ankstyvas sustojimas — sustabdyti mokymą, kai klaida validacijos rinkinyje pradeda didėti.

• Kryžminė validacija — padeda įvertinti modelio bendrumo gebėjimą ir pasirinkti optimalų hiperparametrą.

• Duomenų didinimas — kurti papildomus mokymo pavyzdžius, siekiant padidinti duomenų įvairovę.

• Dropout (neuroninėms tinklams) — atsitiktinai išjungti kai kurias neuronus mokymo metu, sumažinant priklausomybę nuo konkrečių požymių.

• Modelio sudėtingumo mažinimas — pasirinkti paprastesnį modelį su mažiau parametrų.

L2 reguliavimo pavyzdys nuostolių funkcijoje:

( Loss = Loss_{originalus} + \lambda \sum w_i^2 )

kur ( \lambda ) yra reguliavimo koeficientas, ( w_i ) yra modelio svoriai.