Aká je zložitosť v pamäti a čase u self-attention?

Samostatná pozornosť v transformeroch vypočíta vzťahy medzi všetkými prvkami vstupnej sekvencie, čo ovplyvňuje zložitosť algoritmu.

Predpokladajme, že dĺžka sekvencie je N a rozmer vlastností je d.

• Časová zložitosť: O(N² * d)

  To je spôsobené tým, že pre každý z N prvkov je potrebné vypočítať pozornosť ku všetkým N prvkom, a potom aplikovať operácie s rozmerom d.

• Priestorová zložitosť: O(N²)

  Je potrebné uložiť maticu váh pozornosti veľkosti N×N.

Kvadratická závislosť od dĺžky sekvencie spôsobuje, že samostatná pozornosť je úzkym miestom pri práci s veľmi dlhými vstupmi, čo podnecuje vývoj optimalizácií a alternatívnych architektúr (napríklad sparse attention).