Milyen tanulható paraméterek vannak a BatchNorm-ban, és mire szolgálnak?

A BatchNorm két tanulható paraméterrel rendelkezik:

1. Gamma (γ) — egy skálázási tényező, amelyet a normalizált adatokhoz szoroznak. Lehetővé teszi a modell számára, hogy szabályozza az aktivációk amplitúdóját a normalizálás után.

2. Beta (β) — egy eltolás, amelyet a normalizált adatokhoz adnak a skálázás után. Lehetővé teszi a modell számára, hogy eltolja az aktivációk eloszlását.

Ezek a paraméterek szükségesek ahhoz, hogy a normalizálás (amely a adatokat nullától és egységnyi szórástól teszi függővé) után a modell visszaállíthassa vagy alkalmazkodtathassa az aktivációk eloszlását, ha ez szükséges a tanuláshoz és a hálózat kifejezőképességének növeléséhez.