Qu'est-ce que vLLM et à quoi sert PagedAttention?

vLLM est un moteur haute performance pour l'inférence de grands modèles de langage (LLM), optimisé pour une utilisation efficace des ressources et la scalabilité. Il permet d'exécuter de grands modèles avec moins de mémoire et de temps.

PagedAttention est une technique d'optimisation de l'attention dans les transformateurs, utilisée dans vLLM. Elle divise les longues séquences en pages (morceaux) pour réduire les exigences en mémoire lors du calcul de l'attention, tout en conservant la qualité du modèle. Cela est particulièrement utile pour traiter des contextes très longs, où le mécanisme d'attention classique devient trop coûteux en ressources.

Ainsi, PagedAttention aide vLLM à faire évoluer efficacement l'inférence de grands modèles, en réduisant la consommation de mémoire et en accélérant les calculs sans perte de qualité significative.