Papaskinkite mums apie Momentum: kokios yra jo savybės?

Momentum yra optimizavimo metodas, naudojamas pagreitinti gradientinio nusileidimo konvergenciją ir sumažinti svyravimus mašinų mokymosi modelių mokymo metu.

Momentum savybės:

• Vietoj to, kad parametrus atnaujintų tik remiantis dabartiniu gradientu, Momentum atsižvelgia į sukauptą ankstesnių atnaujinimų kryptį, tarsi pridėdamas "inerciją".
• Tai padeda įveikti vietinius minimumus ir plokščiąsias sritis, taip pat išlygina atnaujinimų trajektoriją.

Formaliai, parametrų atnaujinimas su Momentum atrodo taip:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

kur:

• (v_t) — greitis (sukauptas gradientas),
• (\beta) — slopinimo koeficientas (paprastai apie 0.9),
• (\alpha) — mokymosi tempas,
• (\nabla J(\theta_{t-1})) — nuostolio funkcijos gradientas.

Šiuo būdu Momentum padeda greičiau konverguoti ir daro mokymą stabilesnį, ypač sudėtinguose nuostolio peizažuose.