Welke trainbare parameters zijn er in BatchNorm en waar dienen ze voor?

In BatchNorm zijn er twee trainbare parameters:

1. Gamma (γ) — een schaalcoëfficiënt die wordt vermenigvuldigd met de genormaliseerde gegevens. Hiermee kan het model de amplitude van de activaties na normalisatie regelen.

2. Beta (β) — een verschuiving die wordt toegevoegd aan de genormaliseerde gegevens na de schaal. Hiermee kan het model de verdeling van de activaties verschuiven.

Deze parameters zijn nodig zodat, na normalisatie (die de gegevens standaardiseert met een gemiddelde van nul en een variantie van één), het model de verdeling van de activaties kan herstellen of aanpassen indien nodig voor training en het vergroten van de expressiviteit van het netwerk.