Middle
BatchNorm-da hansı öyrənilə bilən parametrlər var və onlar nə üçün lazımdır?
sobes.tech Süni İntellekt
AI-dan cavab
BatchNorm-da iki öyrənilə bilən parametr var:
-
Gamma (γ) — normalizə olunmuş verilərə vurulan ölçü əmsalıdır. Modelə normalizasiya sonrası aktivləşdirmələrin amplitudasını tənzimləməyə imkan verir.
-
Beta (β) — normalizə olunmuş verilərə əlavə olunan kaydırmadır. Modelə aktivləşdirmə paylanmasını kaydırmağa imkan verir.
Bu parametrlər, normalizasiya sonrası (veriləri sıfır orta və bir dispersiya ilə standartlaşdırır) modelin aktivləşdirmə paylanmasını bərpa etməsinə və ya tənzimləməsinə imkan verir, əgər bu, təlim və şəbəkənin ifadə gücünü artırmaq üçün zəruridirsə.