Kāda ir atšķirība starp L1 un L2 regulārizāciju?

L1 un L2 regulārizācija ir metodes, kā novērst pārāk pielāgotu modeļu veidošanos mašīnmācībā, pievienojot sodu zaudējumu funkcijai.

• L1 regulārizācija (Lasso) pievieno zaudējumu funkcijai summu absolūto koeficientu vērtību:

  [ \lambda \sum |w_i| ]

  Tas noved pie retkiem modeļiem — daudzi koeficienti tuvojas nullei, kas palīdz izvēlēties raksturlielumus.

• L2 regulārizācija (Ridge) pievieno koeficientu kvadrātu summu:

  [ \lambda \sum w_i^2 ]

  Tā padara koeficientus mazus, bet reti tos pilnībā nulle, uzlabojot modeļa stabilitāti.

Galvenās atšķirības:

• L1 veicina retumu un raksturlielumu izvēli.
• L2 samazina koeficientu lielumu, padarot modeli stabilāku.

Piemērs Python ar sklearn:

from sklearn.linear_model import LogisticRegression

# L1 regulārizācija
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# L2 regulārizācija
model_l2 = LogisticRegression(penalty='l2')

Izvēle starp tiem ir atkarīga no uzdevuma: ja svarīga ir raksturlielumu izvēle — L1, ja nepieciešama stabilitāte un gludums — L2.