Kāda ir pašas uzmanības atmiņas un laika sarežģītība?

Pašreflektētājs pašreizējās transformatoros aprēķina attiecības starp visiem ievades secības elementiem, kas ietekmē algoritma sarežģītību.

Pieņemsim, ka secības garums ir N, un raksturlielumu dimensija ir d.

• Laika sarežģītība: O(N² * d)

  Tas ir tāpēc, ka katram no N elementiem ir jāaprēķina uzmanība katram no N elementiem, pēc tam jāpiemēro operācijas ar dimensiju d.

• Telpas sarežģītība: O(N²)

  Nepieciešams glabāt uzmanības svaru matricu izmērā N×N.

Pateicoties kvadrātiskajai atkarībai no secības garuma, pašpašreflektēšanās kļūst par šauru vietu, strādājot ar ļoti garām ievadēm, kas veicina optimizāciju un alternatīvu arhitektūru (piemēram, sparse attention) izstrādi.