Wie hoch ist die Speicher- und Zeitkomplexität der Selbstaufmerksamkeit?

Selbstaufmerksamkeit in Transformatoren berechnet die Zusammenhänge zwischen allen Elementen der Eingabesequenz, was die Komplexität des Algorithmus beeinflusst.

Angenommen, die Länge der Sequenz ist N und die Merkmalsdimension ist d.

• Zeitkomplexität: O(N² * d)

  Dies liegt daran, dass für jedes der N Elemente die Aufmerksamkeit auf jedes der N Elemente berechnet werden muss, gefolgt von Operationen mit der Dimension d.

• Platzkomplexität: O(N²)

  Es ist notwendig, eine Gewichtungsmatrix der Aufmerksamkeit der Größe N×N zu speichern.

Aufgrund der quadratischen Abhängigkeit von der Sequenzlänge wird die Selbstaufmerksamkeit bei sehr langen Eingaben zu einem Engpass, was die Entwicklung von Optimierungen und alternativen Architekturen (z.B. Sparse Attention) fördert.