¿Qué son las medias móviles EMA y dónde se aplican?

La media móvil exponencial (EMA) de los pesos es una media móvil exponencial aplicada para suavizar los valores de los pesos del modelo durante el entrenamiento.

En aprendizaje automático, la EMA se usa a menudo para estabilizar y mejorar la calidad del modelo, especialmente en tareas de visión por computadora y aprendizaje profundo. La idea es que, en lugar de usar directamente los pesos actuales del modelo, se utiliza su versión suavizada, que tiene en cuenta la historia de cambios con un decaimiento exponencial.

La fórmula de actualización del peso EMA ( \theta_t ):

[ \theta_t = \alpha \cdot \theta_t + (1 - \alpha) \cdot \theta_{t-1} ]

donde ( \alpha ) es el coeficiente de suavizado (generalmente cercano a 1).

Aplicaciones:

• Mejora la capacidad de generalización del modelo.
• Uso de pesos EMA en inferencia para predicciones más estables.
• En algoritmos de optimización, como Adam, donde la EMA se aplica a los gradientes y a los cuadrados de los gradientes.

De esta manera, la EMA de los pesos ayuda a reducir el ruido y las fluctuaciones durante el entrenamiento, aumentando la estabilidad y la calidad del modelo.