Lehetséges két-dimenziós pozíciós kódolást használni képekkel dolgozó transzformátorokban?

Igen, a kétdimenziós pozíciós kódolás gyakran használható és szükséges lehet olyan transzformerekben, amelyek képekkel dolgoznak. A szöveges adatokhoz képest, ahol a pozíciós kódolás általában egydimenziós (egy token-sorozat), a képek kétdimenziós szerkezetűek (szélesség és magasság).

A kétdimenziós pozíciós kódolás lehetővé teszi a modell számára, hogy figyelembe vegye a pixelek vagy patch-ek térbeli koordinátáit, ezáltal javítva a kép szerkezetének megértését.

Példa megközelítés:

• Külön pozíciós vektorokat létrehozni az X és Y tengelyek koordinátáira.
• Ezeket a vektorokat összeadni vagy összefűzni, hogy elérjük az egyes patch-ek végső pozíciós kódolását.

Ez segíti a transzformert abban, hogy figyelembe vegye az elemek elrendezését a kétdimenziós térben, ami kritikus a számítógépes látás feladataihoz.