Self-attention ning xotira vaqti va xotira murakkabligi qanday?

Transformatorlarda o'z-o'ziga e'tibor (self-attention) kirish ketma-ketligidagi barcha elementlar o'rtasidagi bog'liqliklarni hisoblaydi, bu algoritm murakkabligiga ta'sir qiladi.

Faraz qilaylik, ketma-ketlik uzunligi N va xususiyat o'lchami d.

• Vaqt murakkabligi: O(N² * d)

  Bu shuni anglatadiki, har bir N element uchun, har bir N elementga e'tibor qaratish va keyin d o'lchamli operatsiyalarni qo'llash kerak.

• Joylashuv murakkabligi: O(N²)

  N×N o'lchamdagi e'tibor vazn matritsasini saqlash talab qilinadi.

Ketma-ketlik uzunligiga nisbatan kvadrat bog'liqlik tufayli, o'z-o'ziga e'tibor juda uzun kirishlar bilan ishlashda muammo bo'lib qoladi, bu esa optimallashtirishlar va alternativ arxitekturalar (masalan, sparse attention) ishlab chiqilishini rag'batlantiradi.