Nima uchun L1-regulyatsiya ba'zi vaznlarni nolga olib keladi, L2 esa qilmaydi?

L1-regulyatsiya (Lasso) yo'qotish funktsiyasiga vaznlarning mutlaq qiymatlari yig'indisini (||w||₁) qo'shadi, bu optimallashtirish yuzasida burchak nuqtalarining paydo bo'lishiga olib keladi. Bu ba'zi vaznlarning aniq nolga teng bo'lishini, ya'ni ularni noldan o'tkazishni rag'batlantiradi va modelning qattiqligini ta'minlaydi.

L2-regulyatsiya (Ridge) vaznlarning kvadratlar yig'indisini (||w||₂²) qo'shadi, bu silliq parabolik yuzani hosil qiladi va burchaklar bo'lmagan shaklni yaratadi. Natijada, vaznlar kamayadi, ammo ular aniq nolga aylanishi kamroq ehtimol, chunki optimallashtirish kichik, ammo nolga teng bo'lmagan qiymatlarga intiladi.

Misol:

import numpy as np
from sklearn.linear_model import Lasso, Ridge

X = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array([1, 2, 3])

lasso = Lasso(alpha=0.1)
lasso.fit(X, y)
print('L1 vaznlar:', lasso.coef_)

ridge = Ridge(alpha=0.1)
ridge.fit(X, y)
print('L2 vaznlar:', ridge.coef_)

Bu yerda, L1 ba'zi vaznlarni nolga teng qilishi mumkin, L2 esa ularni faqat kamaytiradi.