Може ли да се използва двумерно позиционно кодиране в трансформерите, работещи с изображения?

Да, двумерното позиционно кодиране може и трябва често да се използва в трансформери, работещи с изображения. За разлика от текстовите данни, където позиционното кодиране обикновено е едномерно (последователност от токени), изображенията имат двумерна структура (ширина и височина).

Двумерното позиционно кодиране позволява на модела да взема предвид пространствените координати на пикселите или парчетата, което подобрява разбирането на структурата на изображението.

Пример за подход:

• Създаване на отделни позиционни вектори за координатите по осите X и Y.
• Събиране или конкатениране на тези вектори за получаване на крайното позиционно кодиране за всяко парче.

Това помага на трансформера да взема предвид разположението на елементите в двумерното пространство, което е критично за задачите по компютърно зрение.