Peut-on utiliser la codification positionnelle bidimensionnelle dans les transformateurs traitant des images?

Oui, la codification positionnelle bidimensionnelle peut et doit souvent être utilisée dans les transformateurs traitant des images. Contrairement aux données textuelles, où la codification positionnelle est généralement unidimensionnelle (une séquence de tokens), les images ont une structure bidimensionnelle (largeur et hauteur).

La codification positionnelle bidimensionnelle permet au modèle de prendre en compte les coordonnées spatiales des pixels ou des patches, ce qui améliore la compréhension de la structure de l'image.

Exemple d'approche:

• Créer des vecteurs positionnels séparés pour les coordonnées sur l'axe X et l'axe Y.
• Additionner ou concaténer ces vecteurs pour obtenir la codification positionnelle finale pour chaque patch.

Cela aide le transformateur à considérer la disposition des éléments dans l'espace bidimensionnel, ce qui est crucial pour les tâches de vision par ordinateur.