Mis on self-attention'i mälu ja aja keerukus?

Enesehinnang transformaatrites arvutuses teevad seoseid kõigi sisendjärjendi elementide vahel, mis mõjutab algoritmi keerukust.

Oletame, et järjendi pikkus on N ja tunnuste mõõde d.

• Aja keerukus: O(N² * d)

  See tuleneb sellest, et iga N elemendi jaoks tuleb arvutada tähelepanu iga N elemendi suhtes ning seejärel rakendada operatsioone mõõtmetega d.

• Ruumi keerukus: O(N²)

  Vajadus on hoida tähelepanu kaalude maatriksit suurusega N×N.

Seetõttu, kuna sõltuvus on ruutlik järjendi pikkusest, muutub enesehinnang kitsaskohaks väga pikkade sisendite töötamisel, mis ergutab optimeerimiste ja alternatiivsete arhitektuuride (näiteks sparse attention) arengut.