¿Qué parámetros de entrenamiento hay en BatchNorm y para qué sirven?

En BatchNorm hay dos parámetros entrenables:

1. Gamma (γ) — un coeficiente de escala que se multiplica por los datos normalizados. Permite que el modelo ajuste la amplitud de las activaciones después de la normalización.

2. Beta (β) — un desplazamiento que se añade a los datos normalizados después de la escala. Permite que el modelo desplace la distribución de las activaciones.

Estos parámetros son necesarios para que, después de la normalización (que estandariza los datos con media cero y varianza unitaria), el modelo pueda restaurar o adaptar la distribución de las activaciones si es necesario para el entrenamiento y para aumentar la expresividad de la red.