Ποια εκπαιδεύσιμα παράμετρα υπάρχουν στο BatchNorm και ποιος είναι ο σκοπός τους;

Στο BatchNorm, υπάρχουν δύο εκπαιδεύσιμες παράμετροι:

1. Gamma (γ) — ένας παράγοντας κλίμακας που πολλαπλασιάζεται με τα κανονικοποιημένα δεδομένα. Επιτρέπει στο μοντέλο να ρυθμίζει το εύρος των ενεργοποιήσεων μετά την κανονικοποίηση.

2. Beta (β) — μια μετατόπιση που προστίθεται στα κανονικοποιημένα δεδομένα μετά την κλίμακα. Επιτρέπει στο μοντέλο να μετατοπίζει την κατανομή των ενεργοποιήσεων.

Αυτές οι παράμετροι είναι απαραίτητες ώστε, μετά την κανονικοποίηση (που τυποποιεί τα δεδομένα με μέση τιμή μηδέν και διακύμανση μονάδας), το μοντέλο να μπορεί να αποκαταστήσει ή να προσαρμόσει την κατανομή των ενεργοποιήσεων, αν αυτό είναι απαραίτητο για την εκπαίδευση και την αύξηση της εκφραστικότητας του δικτύου.