Kuo skiriasi L1 ir L2 reguliacija?

L1 ir L2 reguliacijos yra metodai, skirti išvengti per didelio pritaikymo mašininio mokymosi modeliuose, pridedant baudą prie nuostolių funkcijos.

• L1 reguliacija (Lasso) prideda prie nuostolių funkcijos sumą absoliučių koeficientų reikšmių:

  [ \lambda \sum |w_i| ]

  Tai lemia retus modelius — daugelis koeficientų artėja prie nulio, kas padeda renkant savybes.

• L2 reguliacija (Ridge) prideda koeficientų kvadratų sumą:

  [ \lambda \sum w_i^2 ]

  Ji sumažina koeficientų dydį, bet retai juos visiškai nuliuoja, kas gerina modelio stabilumą.

Pagrindiniai skirtumai:

• L1 skatina retumą ir savybių pasirinkimą.
• L2 sumažina koeficientų dydį, darant modelį stabilesnį.

Pavyzdys Python kalba su sklearn:

from sklearn.linear_model import LogisticRegression

# L1 reguliacija
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# L2 reguliacija
model_l2 = LogisticRegression(penalty='l2')

Pasirinkimas tarp jų priklauso nuo užduoties: jei svarbu savybių pasirinkimas — L1, jei reikalingas stabilumas ir glotnumas — L2.