Comment est calculée la paramétrisation du transformateur (nombre de paramètres en fonction de d_model et des couches) ?

Le nombre de paramètres du transformateur (le nombre total de paramètres) dépend de plusieurs composants clés, principalement de la taille du modèle (d_model) et du nombre de couches (L).

Les paramètres principaux incluent :

• Les poids des couches linéaires dans le mécanisme d'attention (requête, clé, valeur, sortie) — chacun d'environ d_model × d_model.
• Les paramètres des couches de normalisation et de codage positionnel (généralement négligeables par rapport aux autres).
• Les paramètres du réseau feed-forward à l'intérieur de chaque couche — généralement deux couches linéaires avec des tailles d_model × d_ff et d_ff × d_model, où d_ff est la taille de la couche interne (généralement 4 fois la taille de d_model).

Formule approximative pour les paramètres d'une couche :

Paramètres de la couche ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

En considérant que d_ff ≈ 4 × d_model, le résultat final est environ :

Paramètres de la couche ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Le nombre total de paramètres du transformateur avec L couches :

Total ≈ L × 20 × d_model²

Ceci est une estimation simplifiée, ne tenant pas compte des paramètres d'embedding et de normalisation, mais donne une idée de la dépendance à d_model et au nombre de couches.