Ce parametri de învățare sunt în BatchNorm și pentru ce sunt folosiți?

În BatchNorm, există doi parametri antrenabili:

1. Gamma (γ) — un coeficient de scalare care se multiplică cu datele normalizate. Permite modelului să regleze amplitudinea activărilor după normalizare.

2. Beta (β) — o deplasare care se adaugă datelor normalizate după scalare. Permite modelului să deplaseze distribuția activărilor.

Acești parametri sunt necesari pentru ca, după normalizare (care standardizează datele cu media zero și dispersia unitară), modelul să poată restabili sau adapta distribuția activărilor, dacă este necesar pentru antrenament și pentru creșterea expresivității rețelei.