È possibile utilizzare la codifica posizionale bidimensionale nei trasformatori che lavorano con immagini?

Sì, la codifica posizionale bidimensionale può e spesso deve essere utilizzata nei trasformatori che lavorano con immagini. A differenza dei dati testuali, dove la codifica posizionale è generalmente unidimensionale (una sequenza di token), le immagini hanno una struttura bidimensionale (larghezza e altezza).

La codifica posizionale bidimensionale consente al modello di considerare le coordinate spaziali dei pixel o dei patch, migliorando la comprensione della struttura dell'immagine.

Esempio di approccio:

• Creare vettori posizionali separati per le coordinate sugli assi X e Y.
• Sommare o concatenare questi vettori per ottenere la codifica posizionale finale per ogni patch.

Questo aiuta il trasformatore a considerare la disposizione degli elementi nello spazio bidimensionale, cosa critica per i compiti di visione artificiale.