Quali parametri di apprendimento ci sono in BatchNorm e a cosa servono?

In BatchNorm ci sono due parametri apprendibili:

1. Gamma (γ) — un coefficiente di scala che viene moltiplicato dai dati normalizzati. Permette al modello di regolare l'ampiezza delle attivazioni dopo la normalizzazione.

2. Beta (β) — uno spostamento che viene aggiunto ai dati normalizzati dopo la scalatura. Permette al modello di spostare la distribuzione delle attivazioni.

Questi parametri sono necessari affinché, dopo la normalizzazione (che standardizza i dati con media zero e varianza unitaria), il modello possa ripristinare o adattare la distribuzione delle attivazioni, se necessario, per l'addestramento e per aumentare l'espressività della rete.