Кайсы регуляциялоо ыкмаларын билесиз? L1 менен L2 кандай айырмаланат?

Регуляризация — бул модельдин ашыкча үйрөнүшүн алдын алуу үчүн жаза кошуу ыкмасы.

Негизги регуляризация ыкмалары:

• L1-регуляризация (Lasso): жоготуу функциясына салмактардын абсолют маанилеринин жыйындысын кошот. Бул модельдин сирек болушуна алып келет — көп салмактар нөлгө айланат, бул өзгөчөлүктөрдү тандоого жардам берет.

• L2-регуляризация (Ridge): салмактардын квадратынын жыйындысын кошот. Ал салмактарды азайтууга умтулат, бирок толугу менен нөлгө айлантпайт, бул модельди туруктуурак кылууга жардам берет.

• Dropout (нейрондук тармактарда): үйрөтүү учурунда нейрондорду кездейсоқ өчүрүү, белгилүү өзгөчөлүктөргө көзкаранды болууну алдын алуу үчүн.

• Early stopping: текшерүү катасы азайбай калганда үйрөтүүнү токтотуу.

L1 жана L2 ортосундагы айырмачылык:

• L1 көп коэффициенттер нөлгө айланат (сирек чечимдерге алып келет), бул өзгөчөлүктөрдү тандоодо пайдалуу.
• L2 салмактарды азайтат, бирок толугу менен нөлгө айлантпайт, бул моделди тегиздөөгө жана шуу өзгөчөлүктөрүнүн таасирин азайтууга жардам берет.

L2 регуляризациясынын мисалы:

loss = mse_loss + lambda_ * sum(w**2 for w in weights)

L1 үчүн:

loss = mse_loss + lambda_ * sum(abs(w) for w in weights)