Wat is de geheugen- en tijdcomplexiteit van self-attention?

Zelf-attentie in transformers berekent de relaties tussen alle elementen van de invoerreeks, wat invloed heeft op de complexiteit van het algoritme.

Stel dat de lengte van de reeks N is en de kenmerken-dimensie d.

• Tijdcomplexiteit: O(N² * d)

  Dit komt doordat voor elk van de N elementen de aandacht op elk van de N elementen moet worden berekend, gevolgd door operaties met dimensie d.

• Ruimtecomplexiteit: O(N²)

  Er moet een gewichts-matrix voor aandacht van grootte N×N worden opgeslagen.

Vanwege de kwadratische afhankelijkheid van de lengte van de reeks, wordt zelf-attentie een knelpunt bij het werken met zeer lange invoer, wat de ontwikkeling van optimalisaties en alternatieve architecturen (bijvoorbeeld sparse attention) stimuleert.