Что такое sparse attention?

Sparse attention — это техника в области нейросетей, особенно в трансформерах, которая позволяет уменьшить вычислительную сложность механизма внимания (attention). В классическом self-attention каждый элемент последовательности взаимодействует с каждым другим, что даёт квадратичную сложность по длине последовательности.

Sparse attention ограничивает количество таких взаимодействий, позволяя учитывать внимание только к определённым позициям (например, ближайшим соседям или позициям по определённому шаблону). Это снижает вычислительные затраты и память, сохраняя при этом эффективность модели.

Пример: в модели Longformer используется локальное внимание, где каждый токен смотрит только на фиксированное окно соседних токенов, а не на всю последовательность целиком.