Koji se parametri uče u BatchNorm i čemu služe?

U BatchNorm postoje dva učila parametera:

1. Gamma (γ) — koeficijent skaliranja koji se množi sa normalizovanim podacima. Omogućava modelu da reguliše amplitudu aktivacija nakon normalizacije.

2. Beta (β) — pomak koji se dodaje normalizovanim podacima nakon skaliranja. Omogućava modelu da pomeri raspodelu aktivacija.

Ovi parametri su potrebni da bi, nakon normalizacije (koja standardizuje podatke sa nulom sredinom i jedinicom dispersije), model mogao da povrati ili prilagodi raspodelu aktivacija, ako je to potrebno za obuku i povećanje izražajnosti mreže.