Fale-nos sobre o Momentum: quais são as suas características?

Momentum é um método de otimização utilizado para acelerar a convergência do descenso do gradiente e reduzir oscilações durante o treino de modelos de aprendizagem automática.

Características do Momentum:

• Em vez de atualizar os parâmetros apenas com base no gradiente atual, o Momentum leva em consideração a direção acumulada das atualizações passadas, como se adicionasse uma "inércia".
• Isso ajuda a superar mínimos locais e planos, além de suavizar a trajetória das atualizações.

Formalmente, a atualização dos parâmetros com Momentum é assim:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

onde:

• (v_t) — velocidade (gradiente acumulado),
• (\beta) — coeficiente de amortecimento (geralmente cerca de 0.9),
• (\alpha) — taxa de aprendizagem,
• (\nabla J(\theta_{t-1})) — gradiente da função de perda.

Assim, o Momentum ajuda a convergir mais rápido e torna o treinamento mais estável, especialmente em paisagens complexas da função de perda.