Rääkige regulatsioonist klassikalistes ML-algoritmides: L1 ja L2. Millised on nende omadused ja erinevused?

L1 ja L2 on kaks regulaarimise tüüpi, mis lisavad kaotuse funktsioonile karistuse, et vältida üleõppimist.

• L1 regulaarimine (Lasso) lisab koefitsientide absoluutväärtuste summa: ( \lambda \sum |w_i| ). See soodustab mudeli harvaesinevust, st paljud koefitsiendid muutuvad nulliks, mis aitab tunnuste valikul.

• L2 regulaarimine (Ridge) lisab koefitsientide ruutide summa: ( \lambda \sum w_i^2 ). See ei nulli koefitsiente, vaid ainult vähendab neid, muutes mudeli vastupidavamaks müra suhtes.

Erinevused:

• L1 võib viia harva lahendusteni, mis on kasulik tunnuste valikul.
• L2 silub kaalusid, vähendab neid, kuid ei nulli.

Näide lineaarregressioonis:

from sklearn.linear_model import Ridge, Lasso

ridge = Ridge(alpha=1.0)  # L2
lasso = Lasso(alpha=1.0)   # L1

ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)