Mis on üleõppimine? Millised on selle vastu võitlemise viisid?

Overfitting (üleõppimine) on olukord, kus masinõppimise mudel sobib liiga hästi treeningandmetele, sealhulgas müra ja juhuslike kõikumistega, ning seetõttu üldistab halvasti uutele, nähtamatutele andmetele.

Overfitting'i vastu võitlemise viisid:

• Regulaarne (L1, L2) — lisada karistus mudeli keerukuse eest, et vältida liiga suuri kaalusid.
• Varajane lõpetamine — peatada treening, kui valideerimiskogumi kvaliteet hakkab halvenema.
• Andmekogumi suurendamine — rohkem andmeid aitab mudelil paremini üldistada.
• Ristvalideerimine — aitab hinnata mudeli üldistamisvõimet ja häälestada parameetreid.
• Dropout (neuraalvõrkude jaoks) — juhuslikult välja lülitada neuronid treeningu ajal, et vältida sõltuvust teatud tunnustest.
• Mudel lihtsustamine — vähendada parameetrite või kihtide arvu.

Näide regulaarimisest lineaarregressioonis:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regulaarimine
model.fit(X_train, y_train)