Où se trouvent architecturalement les embeddings positionnels?

Les embeddings positionnels dans l'architecture des transformateurs sont généralement ajoutés à la couche d'entrée du modèle, directement aux tokens d'entrée avant de les passer aux couches d'attention (auto-attention).

C'est-à-dire qu'après que les tokens ont été transformés en représentations vectorielles (embeddings de mots), des embeddings positionnels leur sont ajoutés pour que le modèle puisse prendre en compte l'ordre des tokens, car le mécanisme d'attention lui-même n'est pas sensible à la position.

Ainsi, les embeddings positionnels se trouvent au début du modèle, au niveau de l'entrée, et font partie de la représentation d'entrée, qui est ensuite traitée par les couches suivantes du transformateur.