Klassik ML alqoritmlərində tənzimləmə haqqında danışın: L1 və L2. Onların xüsusiyyətləri və fərqləri nədir?

L1 və L2 iki növ tənzimləmələrdir ki, onlar itki funksiyasına cəza əlavə edir və artıq öyrənmənin qarşısını alır.

• L1 tənzimləməsi (Lasso) koeffisiyentlərin müsbət qiymətlərinin cəmını əlavə edir: ( \lambda \sum |w_i| ). Bu, modelin səpəliliyini təşviq edir, yəni çox sayda koeffisiyent sıfıra yaxınlaşır, bu da xüsusiyyət seçməyə kömək edir.

• L2 tənzimləməsi (Ridge) koeffisiyentlərin kvadratlarının cəmını əlavə edir: ( \lambda \sum w_i^2 ). Bu, koeffisiyentləri sıfıra qoymamaq, sadəcə azaldır, bu da modeli səs-küyə qarşı daha davamlı edir.

Fərqlər:

• L1, xüsusiyyət seçimi üçün faydalı olan səpələnmiş həllərə səbəb ola bilər.
• L2, çəkiləri yumşaldır, azaldır, amma sıfıra qoymur.

Xətti regresiyada nümunə:

from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=1.0)  # L2
lasso = Lasso(alpha=1.0)   # L1

ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)