Как борются с квадратичной сложностью механизма внимания (Linformer, Performer, FlashAttention, sliding-window, sparse attention)?

Механизм внимания (attention) в классических трансформерах имеет квадратичную сложность по длине последовательности, так как вычисляется матрица внимания размером L×L (где L — длина входа). Для борьбы с этим используют несколько подходов:

1. Linformer — аппроксимирует матрицу внимания с помощью низкорангового разложения, сокращая размерность ключей и значений, что уменьшает сложность до линейной.

2. Performer — использует случайные проекции и kernel-trick для аппроксимации softmax внимания, позволяя вычислять внимание с линейной сложностью.

3. FlashAttention — оптимизирует вычисления внимания на уровне GPU, эффективно используя память и вычисления, что ускоряет процесс без потери точности.

4. Sliding-window attention — ограничивает внимание локальным окном фиксированного размера, то есть каждый токен взаимодействует только с соседними, что снижает сложность до линейной.

5. Sparse attention — использует разреженные маски внимания, где каждый токен смотрит не на все остальные, а на ограниченный набор релевантных токенов, уменьшая вычисления.

Все эти методы направлены на снижение вычислительной и памяти нагрузки, сохраняя при этом качество модели для длинных последовательностей.