Cos'è vLLM e a cosa serve PagedAttention?

vLLM è un motore ad alte prestazioni per l'inferenza di grandi modelli di linguaggio (LLM), ottimizzato per un uso efficiente delle risorse e la scalabilità. Permette di eseguire grandi modelli con meno memoria e tempo.

PagedAttention è una tecnica di ottimizzazione dell'attenzione nei trasformatori, utilizzata in vLLM. Suddivide sequenze lunghe in pagine (pezzi) per ridurre i requisiti di memoria durante il calcolo dell'attenzione, mantenendo la qualità del modello. Questo è particolarmente utile per elaborare contesti molto lunghi, dove il meccanismo di attenzione classico diventa troppo costoso in termini di risorse.

In questo modo, PagedAttention aiuta vLLM a scalare efficacemente l'inferenza di grandi modelli, riducendo il consumo di memoria e accelerando i calcoli senza perdere significativamente in qualità.