Parlez-moi de PagedAttention dans vLLM.

PagedAttention dans vLLM est une optimisation du mécanisme d'attention pour traiter de longues séquences dans les transformateurs. Dans l'attention auto-classique, la complexité computationnelle et la consommation de mémoire augmentent quadratiquement avec la longueur de l'entrée, ce qui limite la scalabilité.

PagedAttention divise la séquence en pages et calcule l'attention par parties, ce qui permet d'utiliser efficacement la mémoire et d'accélérer les calculs. Cela est particulièrement utile lors de la génération de texte avec un contexte long, où il faut conserver et traiter un grand nombre de tokens.

Cela fonctionne approximativement comme suit :

• La séquence d'entrée est divisée en pages de taille fixe.
• L'attention est calculée à l'intérieur de chaque page et entre certaines pages pour préserver le contexte.
• Des optimisations sont utilisées pour minimiser les opérations et l'utilisation de la mémoire.

Ainsi, PagedAttention permet à vLLM de s'étendre à de longs contextes sans croissance exponentielle des coûts.