¿Qué es vLLM y para qué sirve PagedAttention?

vLLM es un motor de alto rendimiento para la inferencia de grandes modelos de lenguaje (LLM), optimizado para un uso eficiente de recursos y escalabilidad. Permite ejecutar modelos grandes con menores costos de memoria y tiempo.

PagedAttention es una técnica de optimización de atención en transformadores, utilizada en vLLM. Divide secuencias largas en páginas (trozos) para reducir los requisitos de memoria durante el cálculo de atención, manteniendo la calidad del modelo. Esto es especialmente útil para procesar contextos muy largos, donde el mecanismo de atención clásico se vuelve demasiado costoso en recursos.

De este modo, PagedAttention ayuda a vLLM a escalar eficientemente la inferencia de modelos grandes, reduciendo el consumo de memoria y acelerando los cálculos sin una pérdida significativa de calidad.