¿Dónde se encuentran arquitectónicamente las incrustaciones posicionales?

Las incrustaciones posicionales en la arquitectura de transformadores generalmente se añaden en la capa de entrada del modelo, directamente a los tokens de entrada antes de pasarlos a las capas de atención (autoatención).

Es decir, después de que los tokens se convierten en representaciones vectoriales (incrustaciones de palabras), se les añaden incrustaciones posicionales para que el modelo pueda tener en cuenta el orden de los tokens, ya que el mecanismo de atención en sí mismo no es sensible a la posición.

Por lo tanto, las incrustaciones posicionales se encuentran al principio del modelo, en el nivel de entrada, y son parte de la representación de entrada, que luego es procesada por las capas posteriores del transformador.