Mesélj a Momentum-ról: mik azok a jellemzői?

A Momentum egy optimalizációs módszer, amelyet a gradiens leszállás konvergenciájának gyorsítására és a gépi tanulási modellek tanítása közbeni ingadozások csökkentésére használnak.

A Momentum jellemzői:

• Ahelyett, hogy csak a jelenlegi gradiens alapján frissítenénk a paramétereket, a Momentum figyelembe veszi a múltbeli frissítések összegzett irányát, mintha "tehetetlenséget" adna hozzá.
• Ez segít túljutni a helyi minimumokon és sík területeken, valamint simítja a frissítések trajektóriáját.

Formálisan, a Momentum segítségével történő paraméterfrissítés így néz ki:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

ahol:

• (v_t) — sebesség (gyűjtött gradiens),
• (\beta) — csillapítási tényező (általában kb. 0.9),
• (\alpha) — tanulási ráta,
• (\nabla J(\theta_{t-1})) — a veszteségfüggvény gradiensét.

Így a Momentum segít gyorsabban konvergálni és stabilabbá teszi a tanulást, különösen összetett veszteségterületeken.