Каква е сложността по памет и време при self-attention?

Само-вниманието в трансформаторите изчислява връзките между всички елементи на входната последователност, което влияе върху сложността на алгоритъма.

Нека дължината на последователността е N, а размерът на характеристиките е d.

• Времева сложност: O(N² * d)

  Това се дължи на факта, че за всеки от N елементите трябва да се изчисли вниманието към всеки от N елементите, след което да се приложат операции с размер d.

• Паметна сложност: O(N²)

  Трябва да се съхранява матрица на теглата за вниманието с размер N×N.

Поради квадратичната зависимост от дължината на последователността, само-вниманието става тесен момент при работа с много дълги входове, което стимулира разработването на оптимизации и алтернативни архитектури (например, sparse attention).