Middle
Ինչպիսի ուսուցողական պարամետրեր կան BatchNorm-ում և ինչու են դրանք անհրաժեշտ?
sobes.tech AI
Պատասխան AI-ից
BatchNorm-ում կան երկու ուսուցանվող պարամետրեր՝
-
Gamma (γ) — չափաբաժնի գործակից, որը բազմապատկվում է նորմալիզացված տվյալների վրա: Դա թույլ է տալիս մոդելին կարգավորել ակտիվացումների ամպլիտուդը նորմալիզացիայի հետո:
-
Beta (β) — տեղափոխում, որը ավելացվում է նորմալիզացված տվյալներին մոդելին թույլ է տալիս տեղափոխել ակտիվացումների բաշխումը:
Այս պարամետրերը անհրաժեշտ են, որպեսզի նորմալիզացիայից հետո (որը ստանդարտացնում է տվյալները միջին արժեքով զրո և միավորային տարբերությամբ) մոդելը կարողանա վերականգնել կամ հարմարեցնել ակտիվացումների բաշխումը, եթե դա անհրաժեշտ է ուսուցման և ցանցի արտահայտչականությունը բարձրացնելու համար։