Расскажите про PagedAttention в vLLM.

PagedAttention в vLLM — это оптимизация механизма внимания (attention) для обработки длинных последовательностей в трансформерах. В классическом self-attention вычислительная сложность и потребление памяти растут квадратично с длиной входа, что ограничивает масштабируемость.

PagedAttention разбивает последовательность на страницы (пейджи) и вычисляет внимание по частям, что позволяет эффективно использовать память и ускорять вычисления. Это особенно полезно при генерации текста с длинным контекстом, где нужно сохранять и обрабатывать большое количество токенов.

Примерно это работает так:

• Входная последовательность делится на страницы фиксированного размера.
• Внимание считается внутри страницы и между некоторыми страницами, чтобы сохранить контекст.
• Используются оптимизации для минимизации операций и памяти.

Таким образом, PagedAttention позволяет vLLM масштабироваться на длинные контексты без экспоненциального роста затрат.