Miért szükséges a regularizáció a modellekben?

A gépi tanulási modellek regulárizációja szükséges a túlillesztés (overfitting) megelőzéséhez. Ez büntetést ad a modell összetettségére, egyszerűbbé teszi és jobban általánosít az új adatokon.

A regulárizáció fő hatásai:

• Csökkenti a modell koefficiens értékeit, mérsékelve a kevésbé fontos jellemzők hatását.
• Segít elkerülni a túl pontos illeszkedést a tanító adatokhoz, javítva a tesztadatok minőségét.

Népszerű regulárizációs módszerek példái:

• L1 regulárizáció (Lasso) — hozzáadja a koefficiens abszolút értékeinek összegét a veszteségfüggvényhez, elősegíti a ritka modelleket.
• L2 regulárizáció (Ridge) — hozzáadja a koefficiens négyzetének összegét, simítja a súlyokat.

Python példában L2 regulárizációval végzett lineáris regresszió:

from sklearn.linear_model import Ridge

model = Ridge(alpha=1.0)  # alpha — regulárizációs tényező
model.fit(X_train, y_train)