Kas yra per didelis mokymasis ir kaip su juo kovoti?

Overfitting (per didelį pritaikymą) — tai situacija, kai mašininio mokymosi modelis per daug gerai prisitaiko prie mokymo duomenų, įskaitant triukšmą ir atsitiktinius svyravimus, ir blogai apibendrina naujus duomenis.

Kaip kovoti su overfitting:

• Naudoti daugiau duomenų mokymuisi.
• Reguliariacija (L1, L2) — pridėti bausmes už modelio sudėtingumą.
• Ankstyvas sustojimas — sustabdyti mokymąsi, kai validacijos kokybė pradeda blogėti.
• Kryžminė validacija — vertinti bendrąją gebėjimą.
• Modelio sudėtingumo mažinimas — pavyzdžiui, sumažinti parametrų skaičių.
• Duomenų didinimas — kurti papildomus mokymo pavyzdžius.

Python pavyzdys su sklearn naudojant reguliariaciją:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 reguliariacija
model.fit(X_train, y_train)