Opowiedz o Momentum: jakie są jego cechy?

Momentum to metoda optymalizacji używana do przyspieszania zbieżności spadku gradientu i zmniejszania drgań podczas treningu modeli uczenia maszynowego.

Cechy Momentum:

• Zamiast aktualizować parametry tylko na podstawie bieżącego gradientu, Momentum uwzględnia zgromadzony kierunek poprzednich aktualizacji, jakby dodając "inercję".
• To pomaga pokonać lokalne minima i płaszczyzny, a także wygładza trajektorię aktualizacji.

Formalnie, aktualizacja parametrów z Momentum wygląda tak:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

gdzie:

• (v_t) — prędkość (zgromadzony gradient),
• (\beta) — współczynnik tłumienia (zwykle około 0.9),
• (\alpha) — tempo nauki,
• (\nabla J(\theta_{t-1})) — gradient funkcji straty.

W ten sposób Momentum pomaga szybciej zbiegać i czyni trening bardziej stabilnym, szczególnie na złożonych krajobrazach funkcji straty.