Vertel me over PagedAttention in vLLM.

PagedAttention in vLLM is een optimalisatie van het aandachtmechanisme voor het verwerken van lange sequenties in transformers. Bij klassieke self-attention groeien de computationele complexiteit en het geheugengebruik kwadratisch met de lengte van de invoer, wat de schaalbaarheid beperkt.

PagedAttention deelt de sequentie op in pagina's en berekent de aandacht per deel, waardoor efficiënt gebruik van geheugen mogelijk is en de berekeningen worden versneld. Dit is vooral handig bij het genereren van tekst met een lange context, waarbij veel tokens moeten worden opgeslagen en verwerkt.

Het werkt ongeveer als volgt:

• De invoersequentie wordt verdeeld in vaste grootte pagina's.
• De aandacht wordt binnen en tussen enkele pagina's berekend om de context te behouden.
• Er worden optimalisaties gebruikt om operaties en geheugengebruik te minimaliseren.

Op deze manier maakt PagedAttention het mogelijk voor vLLM om te schalen naar lange contexten zonder exponentiële kostenstijging.