Qual é a complexidade em memória e em tempo da auto-atenção?

A atenção própria em transformadores calcula as relações entre todos os elementos da sequência de entrada, o que afeta a complexidade do algoritmo.

Suponha que o comprimento da sequência seja N e a dimensão das características seja d.

• Complexidade temporal: O(N² * d)

  Isto deve-se ao facto de que, para cada um dos N elementos, é necessário calcular a atenção a cada um dos N elementos, e depois aplicar operações com dimensão d.

• Complexidade espacial: O(N²)

  É necessário armazenar uma matriz de pesos de atenção de tamanho N×N.

Devido à dependência quadrática do comprimento da sequência, a atenção própria torna-se um gargalo ao trabalhar com entradas muito longas, o que estimula o desenvolvimento de otimizações e arquiteturas alternativas (por exemplo, atenção dispersa).