Kokie mokomie parametrai yra BatchNorm ir kam jie skirti?

BatchNorm turi du mokomus parametrus:

1. Gamma (γ) — mastelio koeficientas, kuris dauginamas iš normalizuotų duomenų. Leidžia modeliui reguliuoti aktyvacijų amplitudę po normalizacijos.

2. Beta (β) — poslinkis, kuris pridedamas prie normalizuotų duomenų po mastelio keitimo. Leidžia modeliui perkelti aktyvacijų pasiskirstymą.

Šie parametrai yra būtini, kad po normalizacijos (kuri standartizuoja duomenis su nuline vidurkiu ir vienetine dispersija) modelis galėtų atkurti arba pritaikyti aktyvacijų pasiskirstymą, jei tai yra būtina mokymuisi ir tinklo išraiškos stiprinimui.