Que montre le vecteur d'attention dans les transformateurs?

Le vecteur d’attention dans les transformateurs montre à quel point le modèle "prête attention" à chaque mot (ou token) de la séquence d’entrée lors du traitement d’un token spécifique en sortie. En termes simples, ce sont des poids qui déterminent l’importance de chaque élément d’entrée pour l’étape en cours.

Par exemple, lors de la traduction d’une phrase dans un transformateur, pour chaque mot en sortie, un vecteur d’attention est calculé, indiquant quels mots dans la phrase d’entrée sont les plus pertinents pour générer ce mot. Cela permet au modèle de prendre en compte le contexte et les dépendances entre les mots, même s’ils sont éloignés.

Le vecteur d’attention est un ensemble de nombres (poids), généralement normalisés avec softmax, où de grandes valeurs indiquent une importance plus grande du token d’entrée correspondant pour l’étape en cours.

Exemple : si le modèle traduit le mot "bank" dans le contexte de "river bank", le vecteur d’attention peut mettre en évidence les mots "river" et "bank" dans l’entrée pour comprendre correctement la signification.