Ispričajte nam o Momentum: koje su njegove osobine?

Momentum je metoda optimizacije koja se koristi za ubrzanje konvergencije gradijentnog spusta i smanjenje oscilacija tokom obuke modela mašinskog učenja.

Karakteristike Momentum-a:

• Umesto da ažurira parametre samo na osnovu trenutnog gradijenta, Momentum uzima u obzir akumulirani pravac prethodnih ažuriranja, kao da dodaje "inerciju".
• Ovo pomaže da se prevaziđu lokalni minimumi i ravni delovi, kao i da se izgladi trajektorija ažuriranja.

Formalno, ažuriranje parametara sa Momentum-om izgleda ovako:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

gde:

• (v_t) — brzina (nagomilani gradijent),
• (\beta) — koeficijent amortizacije (obično oko 0.9),
• (\alpha) — stopa učenja,
• (\nabla J(\theta_{t-1})) — gradijent funkcije gubitka.

Na ovaj način, Momentum pomaže brže da se konvergira i čini obuku stabilnijom, posebno na složenim pejzažima funkcije gubitka.