Mis on üleõppimine ja kuidas sellega võidelda?

Overfitting (üleõppimine) on olukord, kus masinõppimise mudel sobib liiga hästi treeningandmetele, sealhulgas müra ja juhuslike kõikumistega, ning üldistab halvasti uutele andmetele.

Kuidas võidelda üleõppimisega:

• Kasutada rohkem andmeid treenimiseks.
• Regulaarne (L1, L2) — lisada karistusi mudeli keerukuse eest.
• Varajane lõpetamine — peatada treening, kui valideerimise kvaliteet hakkab halvenema.
• Ristvalideerimine — hinnata üldistamisvõimet.
• Mudelite keerukuse vähendamine — näiteks vähendada parameetrite arvu.
• Andmete suurendamine — luua täiendavaid treeningnäiteid.

Python näide regulaarse kasutamisest sklearn abil:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regulaarne
model.fit(X_train, y_train)