Что такое sliding window attention?

Sliding window attention — это техника в трансформерах, которая ограничивает область внимания (attention) фиксированным окном вокруг каждого токена, вместо того чтобы учитывать все токены последовательности. Это позволяет значительно снизить вычислительную сложность с квадратичной до линейной по длине последовательности.

Идея в том, что каждый элемент обращает внимание только на соседние элементы в пределах окна фиксированного размера, например, на 5-10 токенов слева и справа. Такой подход особенно полезен для очень длинных последовательностей, где классический полный self-attention становится слишком дорогим.

Пример: если у нас последовательность из 1000 токенов, а окно размера 10, то для каждого токена внимание будет рассчитано только по 10 соседним токенам, а не по всем 999 остальным.

Это помогает моделям эффективно обрабатывать длинные тексты, сохраняя при этом локальную контекстуальную информацию.