O que são as médias móveis exponenciais (EMA) e onde são aplicadas?

A Média Móvel Exponencial (EMA) dos pesos é uma média móvel exponencial aplicada para suavizar os valores dos pesos do modelo durante o treino.

No aprendizado de máquina, a EMA é frequentemente usada para estabilizar e melhorar a qualidade do modelo, especialmente em tarefas de visão computacional e aprendizado profundo. A ideia é que, em vez de usar diretamente os pesos atuais do modelo, utiliza-se sua versão suavizada, que leva em conta o histórico de mudanças com um decaimento exponencial.

A fórmula de atualização do peso EMA ( \theta_t ):

[ \theta_t = \alpha \cdot \theta_t + (1 - \alpha) \cdot \theta_{t-1} ]

onde ( \alpha ) é o coeficiente de suavização (geralmente próximo de 1).

Aplicações:

• Melhoria da capacidade de generalização do modelo.
• Uso de pesos EMA na inferência para previsões mais estáveis.
• Em algoritmos de otimização, como Adam, onde a EMA é aplicada aos gradientes e aos quadrados dos gradientes.

Assim, a EMA dos pesos ajuda a reduzir o ruído e as oscilações durante o treinamento, aumentando a estabilidade e a qualidade do modelo.