Mondja el a regulárizációt a klasszikus ML algoritmusokban: L1 és L2. Milyen tulajdonságaik és különbségeik vannak?

L1 és L2 két típusú regularizáció, amelyek büntetést adnak a veszteségfüggvényhez, hogy megakadályozzák a túlillesztést.

• L1 regularizáció (Lasso) hozzáadja a koefficiens abszolút értékeinek összegét: ( \lambda \sum |w_i| ). Elősegíti a modell ritkaságát, azaz sok koefficiens lesz nulla, ami segít a jellemzők kiválasztásában.

• L2 regularizáció (Ridge) hozzáadja a koefficiens négyzetének összegét: ( \lambda \sum w_i^2 ). Nem nullázza a koefficienseket, csak csökkenti azokat, így a modell ellenállóbb lesz a zajjal szemben.

Különbségek:

• L1 vezethet ritka megoldásokhoz, ami hasznos jellemzők kiválasztásánál.
• L2 simítja a súlyokat, csökkenti azokat, de nem nullázza őket.

Példa lineáris regresszióban:

from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=1.0)  # L2
lasso = Lasso(alpha=1.0)   # L1

ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)