Kokia yra savi-susitelkimo atminties ir laiko sudėtingumas?

Savi pažinimo mechanizmas transformatoriuose apskaičiuoja ryšius tarp visų įvesties sekos elementų, kas veikia algoritmo sudėtingumą.

Tarkime, kad sekos ilgis yra N, o požymių matmenys d.

• Laiko sudėtingumas: O(N² * d)

  Tai yra todėl, kad kiekvienam iš N elementų reikia apskaičiuoti dėmesį kiekvienam iš N elementų, tada taikyti operacijas su matmenimis d.

• Atminties sudėtingumas: O(N²)

  Reikia saugoti dėmesio svorių matricą dydžio N×N.

Dėl kvadratinės priklausomybės nuo sekos ilgio, savęs dėmesys tampa kliūtimi dirbant su labai ilgomis įvestimis, kas skatina optimizacijų ir alternatyvių architektūrų (pavyzdžiui, sparse attention) kūrimą.