Self-attentionтин эс тутуму жана убакыттеги татаалдыгы кандай?

Өз-өзүнө көңүл буруу трансформерлерде кирүү үзүндүсүндөгү бардык элементтердин ортосундагы байланыштарды эсептейт, бул алгоритмдин татаалдыгына таасир этет.

Айтайлы, үзүндүнүн узундугу N жана өзгөчөлүктөрдүн өлчөмү d.

• Убакыттык татаалдык: O(N² * d)

  Бул, N элементтин ар бирине көңүл буруу үчүн, ар бир N элементке көңүл буруу керек жана андан кийин d өлчөмдүү операцияларды колдонуу керектиги менен байланыштуу.

• Көңүл буруу татаалдык: O(N²)

  N×N өлчөмүндөгү көңүл буруу салмак матрицасын сактоо керек.

Үзүндүн узундугуна карата квадратик көзкарандылык, өз-өзүнө көңүл буруу өтө узун кириштер менен иштөөдө тыгызык болуп калат, бул оптимизациялар жана альтернативдүү архитектуралардын (мисалы, sparse attention) өнүгүшүнө түрткү берет.