Pastāstiet par regulēšanu klasiskajos ML algoritmos: L1 un L2. Kādas ir to īpašības un atšķirības?

L1 un L2 ir divi regulēšanas veidi, kas pievieno sodu zaudējumu funkcijai, lai novērstu pārmērīgu mācīšanos.

• L1 regulēšana (Lasso) pievieno absolūto koeficientu summu: ( \lambda \sum |w_i| ). Tas veicina modeļa retumu, tas ir, daudzi koeficienti kļūst par nulli, kas palīdz funkciju atlasei.

• L2 regulēšana (Ridge) pievieno kvadrātu summu: ( \lambda \sum w_i^2 ). Tas nenozīmē koeficientus uz nulli, bet tikai tos samazina, padarot modeli izturīgāku pret troksni.

Atšķirības:

• L1 var novest pie retām risinājumiem, kas ir noderīgi funkciju atlasei.
• L2 izlīdzina svarus, tos samazina, bet nenozīmē uz nulli.

Piemērs lineārajā regresijā:

from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=1.0)  # L2
lasso = Lasso(alpha=1.0)   # L1

ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)