Mekkora a memória- és időkomplexitása az önfigyelésnek?

Az önfigyelem a transzformátorokban kiszámítja az összes bemeneti szekvenciaelem közötti kapcsolatokat, ami befolyásolja az algoritmus összetettségét.

Tegyük fel, hogy a szekvencia hossza N, és a jellemzők dimenziója d.

• Időbeli összetettség: O(N² * d)

  Ez azért van, mert minden N elemhez meg kell számítani a figyelmet minden N elemre, majd d dimenziós műveleteket alkalmazni.

• Térbeli összetettség: O(N²)

  Egy N×N méretű figyelem súlymátrix tárolása szükséges.

A szekvencia hosszának négyzetes függése miatt az önfigyelem szűk keresztmetszetté válik nagyon hosszú bemenetek esetén, ami az optimalizációk és alternatív architektúrák (pl. sparse attention) fejlesztését ösztönzi.