Чаро танзимоти L1 баъзе вазнҳоро ба сифр мерасонад, дар ҳоле ки L2 не?

Регуляризация L1 (Lasso) ба додашавии ба функсияи зиён ҷамъоварии арзишҳои мутлақии вазнҳо (||w||₁), ки ба пайдоиши нуқтаҳои кунҷӣ дар сатҳи оптимизатсия оварда мерасонад. Ин ба он мусоидат мекунад, ки қарорҳои оптималӣ дар баъзе вазнҳо комилан нулӣ бошанд, яъне онҳоро нулӣ мекунад, ва моделро сахт мекунад.

Регуляризацияи L2 (Ridge) ба ҷамъоварии квадратҳои вазнҳо (||w||₂²) илова мекунад, ки сатҳи ҳамвор ва параболӣ бидуни кунҷҳоро месозад. Дар натиҷа, вазнҳо кам мешаванд, аммо ба нулӣ баробар шуданашон камтар аст, зеро оптимизатсия ба арзишҳои хурд, аммо на нулӣ равона аст.

Масалан:

import numpy as np
from sklearn.linear_model import Lasso, Ridge

X = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array([1, 2, 3])

lasso = Lasso(alpha=0.1)
lasso.fit(X, y)
print('Вазнҳои L1:', lasso.coef_)

ridge = Ridge(alpha=0.1)
ridge.fit(X, y)
print('Вазнҳои L2:', ridge.coef_)

Ин ҷо, L1 метавонад баъзе вазнҳоро ба нулӣ барорад, дар ҳоле ки L2 онҳоро танҳо кам мекунад.