O que é vLLM e para que serve o PagedAttention?

vLLM é um motor de alto desempenho para inferência de grandes modelos de linguagem (LLM), otimizado para uso eficiente de recursos e escalabilidade. Permite executar modelos grandes com menor consumo de memória e tempo.

PagedAttention é uma técnica de otimização de atenção em transformadores, usada no vLLM. Ela divide sequências longas em páginas (pedaços) para reduzir os requisitos de memória durante o cálculo de atenção, mantendo a qualidade do modelo. Isso é especialmente útil para processar contextos muito longos, onde o mecanismo clássico de atenção se torna demasiado dispendioso em recursos.

Assim, o PagedAttention ajuda o vLLM a escalar eficientemente a inferência de modelos grandes, reduzindo o consumo de memória e acelerando os cálculos sem perda significativa de qualidade.