Qu'est-ce que le weight tying entre embedding et output projection?

Le weight tying est une technique dans les réseaux neuronaux, notamment dans les modèles de traitement du langage naturel (par exemple, les transformateurs), où les poids de la couche d’embedding (incrustation de mots) et de la couche de projection de sortie (projection sur le vocabulaire lors de la génération de texte) sont séparés mais utilisent les mêmes paramètres.

L’idée est que la matrice de poids, qui transforme les indices de mots d’entrée en vecteurs (embedding), et la matrice qui transforme la représentation interne du modèle en probabilités de mots (projection de sortie), sont en fait liées et peuvent être identiques. Cela réduit le nombre de paramètres du modèle et améliore sa capacité de généralisation.

Exemple : si vous avez une matrice d’embedding de taille (vocab_size × embedding_dim), la couche de projection de sortie peut utiliser la version transposée de cette même matrice pour calculer les logits avant le softmax.

Cela aide à :

• Réduire le nombre de paramètres
• Améliorer la convergence et la qualité du modèle

Dans les transformateurs classiques, comme GPT, le weight tying est souvent appliqué entre l’embedding d’entrée et la couche linéaire de sortie.