Ահաregularիզացիայի մասին ավանդական ML ալգորիթմներում՝ L1 և L2: Ի՞նչ են նրանց հատկությունները և տարբերությունները։

L1 և L2 երկու տեսակի կանոնավորումներ են, որոնք ավելացնում են պատիժ կորուստի գործառույթին՝ կանխելու համար գերազանցումը:

• L1 կանոնավորում (Lasso) ավելացնում է կոեֆիցիենտների մաքուր արժեքների գումարը՝ ( \lambda \sum |w_i| ): Այն խթանում է մոդելի սպառազինությունը, այսինքն՝ շատ կոեֆիցիենտներ դառնում են զրո, ինչը օգնում է հատկությունների ընտրության մեջ:

• L2 կանոնավորում (Ridge) ավելացնում է կոեֆիցիենտների քառակուսիների գումարը՝ ( \lambda \sum w_i^2 ): Այն չի զրոացնում կոեֆիցիենտները, միայն նվազեցնում է դրանք, դարձնելով մոդելը ավելի դիմացկուն աղմուկի նկատմամբ:

Տարբերություններ՝

• L1 կարող է հանգեցնել սպառազին լուծումների, ինչը օգտակար է հատկությունների ընտրության համար:
• L2 հարթեցնում է քաշերը, նվազեցնում է դրանք, բայց չի զրոացնում:

Օրինակ՝ գծային ռեգրեսիայում:

from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=1.0)  # L2
lasso = Lasso(alpha=1.0)   # L1

ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)