Kas ir pārmācība un kā ar to cīnīties?

Overfitting (pārmācīšanās) ir situācija, kad mašīnmācīšanās modelis pārāk labi pielāgojas apmācības datiem, ieskaitot troksni un nejaušas svārstības, un slikti vispārina uz jaunajiem datiem.

Kā cīnīties ar pārmācīšanos:

• Izmantot vairāk datus apmācībai.
• Regulāriācija (L1, L2) — pievienot sodus par modeļa sarežģītību.
• Agrīna apturēšana — apturēt apmācību, kad validācijas kvalitāte sāk pasliktināties.
• Krosvalidācija — novērtēt vispārējās spējas.
• Modeļa sarežģītības samazināšana — piemēram, samazinot parametru skaitu.
• Datu palielināšana — radīt papildu apmācības piemērus.

Python piemērs ar sklearn regulāriācijas izmantošanu:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regulāriācija
model.fit(X_train, y_train)