Что такое sliding-window attention в Mistral?

Sliding-window attention в Mistral — это техника внимания, которая ограничивает область внимания модели фиксированным окном, скользящим по последовательности. Вместо того, чтобы вычислять внимание по всей последовательности (что дорого по ресурсам при больших длинах), модель смотрит только на локальный контекст вокруг каждого токена.

Это позволяет эффективно обрабатывать длинные последовательности, снижая вычислительную сложность с квадратичной до линейной по длине входа. Такой подход полезен для больших языковых моделей, где важно сохранять баланс между контекстом и производительностью.

Примерно это работает так: для каждого токена внимание считается только по соседним токенам в пределах окна фиксированного размера, которое «скользит» по всей последовательности.