¿Se puede utilizar la codificación posicional bidimensional en transformadores que trabajan con imágenes?

Sí, la codificación posicional bidimensional se puede y a menudo se debe usar en transformadores que trabajan con imágenes. A diferencia de los datos de texto, donde la codificación posicional suele ser unidimensional (una secuencia de tokens), las imágenes tienen una estructura bidimensional (ancho y alto).

La codificación posicional bidimensional permite que el modelo tenga en cuenta las coordenadas espaciales de los píxeles o parches, lo que mejora la comprensión de la estructura de la imagen.

Ejemplo de enfoque:

• Crear vectores posicionales separados para las coordenadas en el eje X y en el eje Y.
• Sumar o concatenar estos vectores para obtener la codificación posicional final para cada parche.

Esto ayuda al transformador a tener en cuenta la disposición de los elementos en el espacio bidimensional, lo cual es crítico para tareas de visión por computadora.