¿Cuál es la complejidad en memoria y en tiempo de la auto-atención?

La atención propia en transformadores calcula las relaciones entre todos los elementos de la secuencia de entrada, lo que afecta la complejidad del algoritmo.

Supongamos que la longitud de la secuencia es N y la dimensión de las características es d.

• Complejidad temporal: O(N² * d)

  Esto se debe a que, para cada uno de los N elementos, es necesario calcular la atención a cada uno de los N elementos, y luego aplicar operaciones con dimensión d.

• Complejidad espacial: O(N²)

  Se requiere almacenar una matriz de pesos de atención de tamaño N×N.

Debido a la dependencia cuadrática en la longitud de la secuencia, la atención propia se convierte en un cuello de botella cuando se trabaja con entradas muy largas, lo que fomenta el desarrollo de optimizaciones y arquitecturas alternativas (por ejemplo, atención dispersa).