Care este complexitatea în memorie și în timp a auto-atenției?

Atenția proprie în transformatoare calculează relațiile dintre toate elementele secvenței de intrare, ceea ce influențează complexitatea algoritmului.

Presupunem că lungimea secvenței este N, iar dimensiunea caracteristicilor este d.

• Complexitatea temporală: O(N² * d)

  Acest lucru se datorează faptului că, pentru fiecare dintre cele N elemente, trebuie calculată atenția pentru fiecare dintre cele N elemente, apoi aplicate operații cu dimensiunea d.

• Complexitatea spațială: O(N²)

  Este necesar să se stocheze o matrice de greutăți de atenție de dimensiune N×N.

Din cauza dependenței pătratice de lungimea secvenței, atenția proprie devine un punct de blocaj atunci când se lucrează cu intrări foarte lungi, ceea ce stimulează dezvoltarea de optimizări și arhitecturi alternative (de exemplu, atenție dispersă).