Jakie parametry uczące się są w BatchNorm i do czego służą?

W BatchNorm istnieją dwa uczone parametry:

1. Gamma (γ) — współczynnik skalowania, który jest mnożony przez znormalizowane dane. Pozwala modelowi regulować amplitudę aktywacji po normalizacji.

2. Beta (β) — przesunięcie, które jest dodawane do znormalizowanych danych po skalowaniu. Pozwala modelowi przesuwać rozkład aktywacji.

Te parametry są potrzebne, aby po normalizacji (która standaryzuje dane z średnią zero i wariancją jednostkową) model mógł przywrócić lub dostosować rozkład aktywacji, jeśli jest to konieczne do treningu i zwiększenia wyrazistości sieci.