Πώς υπολογίζεται η παραμετροποίηση του μετασχηματιστή (αριθμός παραμέτρων ανάλογα με το d_model και τα στρώματα);

Ο αριθμός των παραμέτρων του μετασχηματιστή (το συνολικό πλήθος των παραμέτρων) εξαρτάται από αρκετά βασικά στοιχεία, κυρίως από το μέγεθος του μοντέλου (d_model) και τον αριθμό των στρωμάτων (L).

Οι κύριες παράμετροι περιλαμβάνουν:

• Τα βάρη των γραμμικών επιπέδων στον μηχανισμό προσοχής (ερώτημα, κλειδί, τιμή, έξοδος) — το καθένα περίπου d_model × d_model.
• Οι παράμετροι των επιπέδων κανονικοποίησης και κωδικοποίησης θέσης (συνήθως αμελητέες σε σύγκριση με τις άλλες).
• Οι παράμετροι του δικτύου feed-forward μέσα σε κάθε στρώμα — συνήθως δύο γραμμικά επίπεδα με διαστάσεις d_model × d_ff και d_ff × d_model, όπου d_ff είναι το μέγεθος του εσωτερικού στρώματος (συνήθως 4 φορές μεγαλύτερο από το d_model).

Προσεγγιστικός τύπος για τους παραμέτρους ενός στρώματος:

Παράμετροι στρώματος ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Λαμβάνοντας υπόψη ότι d_ff ≈ 4 × d_model, το τελικό αποτέλεσμα είναι περίπου:

Παράμετροι στρώματος ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Ο συνολικός αριθμός παραμέτρων του μετασχηματιστή με L στρώματα:

Σύνολο ≈ L × 20 × d_model²

Αυτή είναι μια απλουστευμένη εκτίμηση, που δεν λαμβάνει υπόψη τις παραμέτρους ενσωμάτωσης και κανονικοποίησης, αλλά παρέχει μια κατανόηση της εξάρτησης από το d_model και τον αριθμό των στρωμάτων.