Պատմեք մեզ Momentum-ի մասին՝ ինչպիսի՞ն են նրա առանձնահատկությունները։

Momentum-ը օպտիմալացման մեթոդ է, որը օգտագործվում է գրադիենտային իջեցման համընկնման արագացման և մեքենայական ուսուցման մոդելների ուսուցման ժամանակ տատանումների նվազեցման համար:

Momentum-ի առանձնահատկությունները՝

• Փոխարենը, որ parameters-ը թարմացվի միայն ընթացիկ գրադիենտի հիման վրա, Momentum-ը հաշվի է առնում անցած թարմացումների կուտակված ուղղությունը, կարծես ավելացնելով "իներտցիա":
• Սա օգնում է հաղթահարել տեղական մինիմումներն ու հարթ տարածքները, ինչպես նաև հարթեցնում է թարմացումների տրագեկտորիան:

Անհատականորեն, Momentum-ի միջոցով parameters-ի թարմացումը տեսք ունի հետևյալ կերպ՝

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

որտեղ՝

• (v_t) — արագություն (հավաքված գրադիենտ),
• (\beta) — թուլացման գործակից (հաճախ մոտ 0.9-ի շուրջ),
• (\alpha) — ուսուցման արագություն,
• (\nabla J(\theta_{t-1})) — կորուստային ֆունկցիայի գրադիենտը:

Այս կերպ Momentum-ը օգնում է ավելի արագ մոտենալ և դարձնում է ուսուցումը ավելի կայուն, հատկապես բարդ կորուստային լանդշաֆտներում։