კლასიკური ML ალგორითმებში რეგულაციის შესახებ ისაუბრეთ: L1 და L2. რა თვისებები და განსხვავებები აქვთ მათ?

L1 და L2 ორი ტიპის რეგულაციაა, რომლებიც დანაკარგის ფუნქციას ჯარიმას უქმნის, რათა თავიდან აიცილოს გადამზადება.

• L1 რეგულაცია (Lasso) დამატებს კოეფიციენტების აბსოლუტურ მნიშვნელობათა ჯამს: ( \lambda \sum |w_i| ). ეს ხელს უწყობს მოდელის სიღრმის შემცირებას, ანუ ბევრი კოეფიციენტი ხდება ნული, რაც ეხმარება თვისებების შერჩევაში.

• L2 რეგულაცია (Ridge) დამატებს კოეფიციენტების კვადრატების ჯამს: ( \lambda \sum w_i^2 ). იგი არ ანულებს კოეფიციენტებს, მხოლოდ ამცირებს მათ, რაც მოდელს უფრო მდგრადს ხდის ხმაურსა წინააღმდეგ.

განსხვავებები:

• L1 შეიძლება გამოიწვიოს სიღრმის გადაწყვეტები, რაც სასარგებლოა თვისებების შერჩევაში.
• L2 გლუვացնում და ამცირებს წონებს, მაგრამ არ ანულებს.

მაგალითი ხაზოვანი რეგრესიის:

from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=1.0)  # L2
lasso = Lasso(alpha=1.0)   # L1

ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)