Что такое vLLM и зачем нужен PagedAttention?

vLLM — это высокопроизводительный движок для инференса больших языковых моделей (LLM), оптимизированный для эффективного использования ресурсов и масштабируемости. Он позволяет запускать большие модели с меньшими затратами памяти и времени.

PagedAttention — это техника оптимизации внимания (attention) в трансформерах, используемая в vLLM. Она разбивает длинные последовательности на страницы (чанки), чтобы снизить требования к памяти при вычислении внимания, сохраняя при этом качество модели. Это особенно полезно для обработки очень длинных контекстов, где классический механизм внимания становится слишком ресурсоёмким.

Таким образом, PagedAttention помогает vLLM эффективно масштабировать инференс больших моделей, уменьшая потребление памяти и ускоряя вычисления без значительной потери качества.