Koja je složenost u memoriji i vremenu kod self-attention?

Samostalna pažnja u transformatorima računa odnose između svih elemenata ulazne sekvence, što utiče na složenost algoritma.

Pretpostavimo da je dužina sekvence N, a dimenzija karakteristika d.

• Vremenska složenost: O(N² * d)

  To je zbog toga što je za svaki od N elemenata potrebno izračunati pažnju na svakom od N elemenata, a zatim primeniti operacije dimenzije d.

• Prostorna složenost: O(N²)

  Potrebno je sačuvati matricu težina pažnje veličine N×N.

Zbog kvadratne zavisnosti od dužine sekvence, samostalna pažnja postaje usko grlo pri radu sa veoma dugim ulazima, što podstiče razvoj optimizacija i alternativnih arhitektura (npr. sparse attention).