Расскажите про Momentum: в чём его особенности?

Momentum — это метод оптимизации, который используется для ускорения сходимости градиентного спуска и уменьшения колебаний при обучении моделей машинного обучения.

Особенности Momentum:

• Вместо того, чтобы обновлять параметры только на основе текущего градиента, Momentum учитывает накопленное прошлое направление обновлений, как бы добавляя "инерцию".
• Это помогает преодолевать локальные минимумы и плоскости, а также сглаживает траекторию обновлений.

Формально обновление параметров с Momentum выглядит так:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

где:

• (v_t) — скорость (накопленный градиент),
• (\beta) — коэффициент затухания (обычно около 0.9),
• (\alpha) — скорость обучения,
• (\nabla J(\theta_{t-1})) — градиент функции потерь.

Таким образом, Momentum помогает быстрее сходиться и делает обучение более стабильным, особенно на сложных ландшафтах функции потерь.