Что такое n в контексте сложности attention?

В контексте сложности attention, особенно в трансформерах, n обычно обозначает длину входной последовательности — количество токенов или элементов, над которыми вычисляется внимание.

Сложность классического механизма self-attention равна O(n²), так как для каждого из n элементов вычисляется внимание ко всем остальным n элементам, что требует построения матрицы размером n×n.

Это ограничивает применение attention к очень длинным последовательностям, так как вычислительные и память растут квадратично с длиной входа.