Мушкилоти дар хотира ва вақт дар self-attention чист?

Дарунгоҳи худкор дар трансформаторҳо муносибатҳоро байни ҳамаи унсурҳои пайдарпайи воридот ҳисоб мекунад, ки ба мураккабии алгоритм таъсир мерасонад.

Бигзор, дарозии пайдарпай N бошад ва андозаи хусусиятҳо d.

• Мураккабии вақти: O(N² * d)

  Ин ба он вобаста аст, ки барои ҳар яке аз N унсурҳо бояд диққат ба ҳар яке аз N унсурҳо ҳисоб карда шавад, ва сипас амалҳои бо андозаи d татбиқ карда шаванд.

• Мураккабии фазо: O(N²)

  Матриси вазни диққат бо андозаи N×N бояд нигоҳ дошта шавад.

Зеро вобастагии квадратикии дарозии пайдарпай, диққати худкор дар кор бо воридоти хеле дароз ба нуқтаи танг мегардад, ки ин рушди оптимизатсияҳо ва сохторҳои алтернативиро (масалан, sparse attention) ташвиқ мекунад.