Kas ir pārmācība? Kādi ir veidi, kā ar to cīnīties?

Overfitting (pārmērīga pielāgošana) ir situācija, kad mašīnmācīšanās modelis pārāk labi pielāgojas apmācības datiem, ieskaitot troksni un nejaušas svārstības, un tāpēc slikti vispārina uz jauniem, neredzētiem datiem.

Veidi, kā cīnīties ar overfitting:

• Regulāri (L1, L2) — pievienot sodu par modeļa sarežģītību, lai novērstu pārāk lielas svara vērtības.
• Agrīna apturēšana — apturēt apmācību, kad kvalitāte validācijas kopā sāk pasliktināties.
• Datu apjoma palielināšana — vairāk datu palīdz modelim labāk vispārēt.
• Krosvalidācija — palīdz novērtēt modeļa vispārējo spēju un pielāgot parametrus.
• Dropout (neironu tīkliem) — nejauši izslēgt neironu apmācības laikā, lai novērstu atkarību no noteiktiem raksturlielumiem.
• Modeļa vienkāršošana — samazināt parametru vai slāņu skaitu.

Piemērs regulārizācijai lineārā regresijā:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regulārizācija
model.fit(X_train, y_train)