Middle
Millised õppimisparameetrid on BatchNorm-is ja milleks need on vajalikud?
sobes.tech AI
Vastus AI-lt
BatchNorm-is on kaks õppitavat parameetrit:
-
Gamma (γ) — skaalakordinaator, mis korrutatakse normaliseeritud andmetega. See võimaldab mudelil reguleerida aktiveerimiste amplituudi pärast normaliseerimist.
-
Beta (β) — nihke, mis lisatakse normaliseeritud andmetele skaleerimise järel. See võimaldab mudelil nihutada aktiveerimiste jaotust.
Need parameetrid on vajalikud, et pärast normaliseerimist (mis standardiseerib andmed nulli keskväärtuse ja ühe dispersiooniga) saaks mudel taastada või kohandada aktiveerimiste jaotust, kui see on vajalik treeninguks ja võrgu väljendusvõime suurendamiseks.