Is het mogelijk om tweedimensionale positionele codering te gebruiken in transformers die met beelden werken?

Ja, tweedimensionale positionele codering kan en moet vaak worden gebruikt in transformers die met beelden werken. In tegenstelling tot tekstgegevens, waar positionele codering meestal eendimensionaal is (een reeks tokens), hebben beelden een tweedimensionale structuur (breedte en hoogte).

Tweedimensionale positionele codering stelt het model in staat om rekening te houden met de ruimtelijke coördinaten van pixels of patches, wat het begrip van de structuur van het beeld verbetert.

Voorbeeld van aanpak:

• Maak aparte positionele vectoren voor de coördinaten op de X- en Y-as.
• Tel deze vectoren op of concateneer ze om de uiteindelijke positionele codering voor elke patch te verkrijgen.

Dit helpt de transformer om de plaatsing van elementen in de tweedimensionale ruimte te overwegen, wat cruciaal is voor computer vision taken.