Middle
Kādi mācību parametri ir BatchNorm un kam tie ir paredzēti?
sobes.tech AI
Atbilde no AI
BatchNorm ir ir divi mācāmi parametri:
-
Gamma (γ) — mēroga koeficients, kas tiek reizināts ar normalizētajiem datiem. Tas ļauj modelim regulēt aktivāciju amplitūdu pēc normalizācijas.
-
Beta (β) — pārvietojums, kas tiek pievienots normalizētajiem datiem pēc mēroga pielāgošanas. Tas ļauj modelim pārvietot aktivāciju sadalījumu.
Šie parametri ir nepieciešami, lai pēc normalizācijas (kas standartizē datus ar nulles vidējo un vienības dispersiju) modelis varētu atjaunot vai pielāgot aktivāciju sadalījumu, ja tas ir nepieciešams apmācībai un tīkla izteiksmības palielināšanai.