Middle
Aké učené parametre má BatchNorm a na čo slúžia?
sobes.tech AI
Odpoveď od AI
V BatchNorm sú dva učiteľné parametre:
-
Gamma (γ) — škálovací koeficient, ktorý sa násobí normalizovanými dátami. Umožňuje modelu regulovať amplitúdu aktivácií po normalizácii.
-
Beta (β) — posun, ktorý sa pridáva k normalizovaným dátam po škálovaní. Umožňuje modelu posunúť rozloženie aktivácií.
Tieto parametre sú potrebné, aby model po normalizácii (ktorá štandardizuje dáta s nulovým priemerom a jednotkovou rozptylom) mohol obnoviť alebo upraviť rozloženie aktivácií, ak je to potrebné pre tréning a zvýšenie výrazu siete.