Kas yra per didelis mokymasis? Kokie yra būdai su juo kovoti?

Overfitting (per didelį prisitaikymą) — tai situacija, kai mašininio mokymosi modelis per daug gerai prisitaiko prie mokymo duomenų, įskaitant triukšmą ir atsitiktinius svyravimus, ir dėl to blogai apibendrina naujus, nematytus duomenis.

Būdai kovoti su overfitting:

• Reguliariacija (L1, L2) — pridėti baudą už modelio sudėtingumą, kad būtų išvengta per didelių svorių.
• Ankstyvas sustojimas — sustabdyti mokymą, kai kokybė validacijos rinkinyje pradeda blogėti.
• Duomenų kiekio didinimas — daugiau duomenų padeda modeliui geriau apibendrinti.
• Kryžminė validacija — padeda įvertinti modelio gebėjimą apibendrinti ir pritaikyti parametrus.
• Dropout (neuroninėms tinklams) — atsitiktinis neuronų išjungimas mokymo metu, siekiant išvengti priklausomybės nuo tam tikrų požymių.
• Modelio supaprastinimas — sumažinti parametrų ar sluoksnių skaičių.

Pavyzdys reguliariacijos linijinės regresijos:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 reguliariacija
model.fit(X_train, y_train)