Middle
BatchNorm-ში რა სწავლების პარამეტრები არსებობს და რა მიზნით გამოიყენება ისინი?
sobes.tech AI
პასუხი AI-სგან
BatchNorm-ში ორი სწავლა პარამეტრია:
-
Gamma (γ) — მასშტაბის კოეფიციენტი, რომელიც მრავლდება ნორმალიზებულ მონაცემებზე. საშუალებას აძლევს მოდელს რეგულირდეს აქტივაციების სიგანე ნორმალიზაციის შემდეგ.
-
Beta (β) — გადახვევა, რომელიც ემატება ნორმალიზებულ მონაცემებს მასშტაბის შემდეგ. საშუალებას აძლევს მოდელს გადაადგილოს აქტივაციების განაწილება.
ეს პარამეტრები აუცილებელია, რათა ნორმალიზაციის შემდეგ (რომელიც სტანდარტიზირებს მონაცემებს საშუალო მნიშვნელობით ნულსა და ერთეულ დისპერსიით) მოდელმა შეძლოს აქტივაციების განაწილების აღდგენა ან ადაპტირება, თუ ეს საჭიროა სწავლებისთვის და ქსელის გამოხატულობის გაზრდისთვის.