Erzählen Sie mir von PagedAttention in vLLM.

PagedAttention in vLLM ist eine Optimierung des Attention-Mechanismus zur Verarbeitung langer Sequenzen in Transformern. Bei der klassischen Self-Attention steigen die Rechenkomplexität und der Speicherverbrauch quadratisch mit der Eingabelänge, was die Skalierbarkeit einschränkt.

PagedAttention teilt die Sequenz in Seiten und berechnet die Aufmerksamkeit schrittweise, was eine effiziente Nutzung des Speichers und eine Beschleunigung der Berechnungen ermöglicht. Dies ist besonders bei der Textgenerierung mit langem Kontext nützlich, bei der große Mengen an Tokens gespeichert und verarbeitet werden müssen.

So funktioniert es ungefähr:

• Die Eingabesequenz wird in Seiten fester Größe unterteilt.
• Die Aufmerksamkeit wird innerhalb der Seiten und zwischen einigen Seiten berechnet, um den Kontext zu bewahren.
• Es werden Optimierungen eingesetzt, um Operationen und Speicherverbrauch zu minimieren.

Auf diese Weise ermöglicht PagedAttention vLLM, sich an lange Kontexte anzupassen, ohne exponentiell steigende Kosten.