Momentum-ის შესახებ ისაუბრეთ: რა არის მისი მახასიათებლები?

Моментум — бул оптимизациялоо ыкмасы, ал градиент түшүүнүн жакындашуусун тездетүү жана машиналык үйрөнүү моделдерин үйрөтүү учурунда титирөөлөрдү азайтуу үчүн колдонулат.

Моментумдун өзгөчөлүктөрү:

• Параметрлерди азыркы градиентке гана негизделип жаңыртуу менен чектелбестен, Моментум өткөн жаңыртуулардын топтолгон багытын эске алат, сыягы "инерция" кошуп жатат.
• Бул жергиликтүү минимумдарды жана тегиз аймактарды жеңүүгө жардам берет жана жаңыртуулардын траекториясын тегиздейт.

Расмий түрдө, Моментум менен параметрлердин жаңыртуусу мындай көрүнөт:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

башкача айтканда:

• (v_t) — ылдамдык (жыйналган градиент),
• (\beta) — өчүрүү коэффициенти (жалпысынан 0.9 чамасында),
• (\alpha) — үйрөнүү ылдамдыгы,
• (\nabla J(\theta_{t-1})) — жоготуунун функциясынын градиенти.

Мындайча айтканда, Моментум тезирээк жакындашууга жардам берет жана үйрөтүүнү көбүрөөк туруктуу кылат, өзгөчө татаал жоготуунун ландшафтарында.