Jaké učící parametry jsou v BatchNorm a k čemu slouží?

V BatchNorm jsou dva učitelné parametry:

1. Gama (γ) — škálovací koeficient, který se násobí normalizovanými daty. Umožňuje modelu regulovat amplitudu aktivací po normalizaci.

2. Beta (β) — posun, který se přidává k normalizovaným datům po škálování. Umožňuje modelu posunout rozložení aktivací.

Tyto parametry jsou potřebné, aby model po normalizaci (která standardizuje data s nulovým průměrem a jednotkovou rozptylem) mohl obnovit nebo upravit rozložení aktivací, pokud je to nutné pro trénink a zvýšení výrazu sítě.