É possível usar codificação posicional bidimensional em transformadores que trabalham com imagens?

Sim, a codificação posicional bidimensional pode e frequentemente deve ser usada em transformadores que trabalham com imagens. Ao contrário dos dados textuais, onde a codificação posicional geralmente é unidimensional (uma sequência de tokens), as imagens têm uma estrutura bidimensional (largura e altura).

A codificação posicional bidimensional permite que o modelo leve em conta as coordenadas espaciais dos pixels ou patches, o que melhora a compreensão da estrutura da imagem.

Exemplo de abordagem:

• Criar vetores posicionais separados para as coordenadas nos eixos X e Y.
• Somar ou concatenar esses vetores para obter a codificação posicional final para cada patch.

Isso ajuda o transformador a considerar a disposição dos elementos no espaço bidimensional, o que é crítico para tarefas de visão computacional.