Koja je razlika između L1 i L2 regularizacije?

L1 и L2 регуларизације су методе за спречавање пренаглашавања у моделима машинског учења додавањем казне функцији губитка.

• L1 регуларизација (Lasso) додаје у функцију губитка збир апсолутних вредности коефицијената модела:

  [ \lambda \sum |w_i| ]

  Ово доводи до ретких модела — многи коефицијенти теже ка нули, што помаже у избору карактеристика.

• L2 регуларизација (Ridge) додаје збир квадрата коефицијената:

  [ \lambda \sum w_i^2 ]

  Она чини да су коефицијенти мали, али их ретко потпуно нулира, што побољшава стабилност модела.

Главне разлике:

• L1 подстиче реткост и избор карактеристика.
• L2 смањује величину коефицијената, чинећи модел стабилнијим.

Пример у Python-у са sklearn:

from sklearn.linear_model import LogisticRegression

# L1 регуларизација
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# L2 регуларизација
model_l2 = LogisticRegression(penalty='l2')

Избор између њих зависи од задатка: ако је важан избор карактеристика — L1, ако је потребна стабилност и глаткоћа — L2.