Mis vahe on L1 ja L2 regulaarizatsioonil?

L1 ja L2 regulatsioonid on meetodid üleõppimise vältimiseks masinõppe mudelites, lisades kaotusefunktsioonile karistuse.

• L1 regulatsioon (Lasso) lisab kaotusefunktsioonile summa mudeli koefitsientide absoluutväärtustest:

  [ \lambda \sum |w_i| ]

  See viib harvaesinevate mudeliteni — paljud koefitsiendid lähenevad nullile, aidates tunnuste valikul.

• L2 regulatsioon (Ridge) lisab koefitsientide ruutide summa:

  [ \lambda \sum w_i^2 ]

  See muudab koefitsiendid väikesteks, kuid harva nulliks, parandades mudeli stabiilsust.

Peamised erinevused:

• L1 soodustab harvaesinevust ja tunnuste valikut.
• L2 vähendab koefitsientide suurust, muutes mudeli stabiilsemaks.

Näide Pythonis sklearn kasutades:

from sklearn.linear_model import LogisticRegression

# L1 regulatsioon
model_l1 = LogisticRegression(penalty='l1', solver='liblinear')

# L2 regulatsioon
model_l2 = LogisticRegression(penalty='l2')

Valik nende vahel sõltub ülesandest: kui oluline on tunnuste valik — L1, kui vaja on stabiilsust ja siledust — L2.