Quels paramètres d'apprentissage y a-t-il dans BatchNorm et à quoi servent-ils?

Dans BatchNorm, il y a deux paramètres entraînables:

1. Gamma (γ) — un coefficient d'échelle qui est multiplié par les données normalisées. Permet au modèle de réguler l'amplitude des activations après la normalisation.

2. Beta (β) — un décalage qui est ajouté aux données normalisées après la mise à l'échelle. Permet au modèle de décaler la distribution des activations.

Ces paramètres sont nécessaires pour que, après la normalisation (qui standardise les données avec une moyenne de zéro et une variance unitaire), le modèle puisse restaurer ou adapter la distribution des activations si nécessaire pour l'apprentissage et pour augmenter l'expressivité du réseau.