Συγκρίνετε τους μετασχηματιστές pre-norm και post-norm. Ποιος εκπαιδεύεται πιο σταθερά σε μεγαλύτερα βάθη;

Pre-norm και post-norm είναι δύο επιλογές για τη θέση του στρώματος κανονικοποίησης (LayerNorm) στην αρχιτεκτονική του μετασχηματιστή.

• Post-norm (η αρχική έκδοση του Vaswani et al., 2017): η κανονικοποίηση εφαρμόζεται μετά το μπλοκ προσοχής ή FFN και μετά την προσθήκη της υπολειμματικής σύνδεσης.

• Pre-norm: η κανονικοποίηση εφαρμόζεται πριν από το μπλοκ προσοχής ή FFN, και η υπολειμματική σύνδεση προστίθεται μετά.

Διαφορές και επιπτώσεις στην εκπαίδευση:

• Οι μετασχηματιστές pre-norm συνήθως εκπαιδεύονται πιο σταθερά σε μεγαλύτερα βάθη (περισσότερα στρώματα). Αυτό οφείλεται στο ότι η κανονικοποίηση πριν από το μπλοκ βοηθά στον καλύτερο έλεγχο των βαθμίδων και αποτρέπει την εξαφάνιση ή την έκρηξή τους.

• Στην αρχιτεκτονική post-norm, με την αύξηση του αριθμού των στρωμάτων, συχνά προκύπτουν προβλήματα με τους βαθμούς, καθιστώντας δύσκολη την εκπαίδευση βαθιών μοντέλων.

Συμπέρασμα: για βαθιά μετασχηματιστές (π.χ., περισσότερα από 12 στρώματα), προτιμάται η χρήση pre-norm, καθώς διασφαλίζει πιο σταθερή και αποδοτική εκπαίδευση.