Self-attention'ın bellek ve zaman karmaşıklığı nedir?

Transformerlarda öz-dikkat (self-attention) giriş ardıcıllığındakı bütün elementlər arasındakı əlaqələri hesablayır, bu da alqoritmin mürəkkəbliyinə təsir edir.

Tutaq ki, ardıcıllığın uzunluğu N və xüsusiyyət ölçüsü d-dir.

• Zaman mürəkkəbliyi: O(N² * d)

  Bu, hər bir N element üçün, hər bir N elementə diqqət ayırmaq və sonra d ölçülü əməliyyatlar tətbiq etmək lazım olduğundan baş verir.

• Məkan mürəkkəbliyi: O(N²)

  N×N ölçülü diqqət çəkisi matrisini saxlamaq lazımdır.

Ardıcıllığın uzunluğuna görə kvadrat asılılıq, çox uzun girişlərlə işləyərkən öz-dikkat (self-attention) tıxacına çevrilir, bu da optimallaşdırma və alternativ memarlıq (məsələn, sparse attention) inkişafını stimullaşdırır.