Was ist FlashAttention und welchen Speichergewinn bietet es?

FlashAttention ist ein optimierter Algorithmus zur Berechnung des Attention-Mechanismus in Transformatoren, der den Speicherverbrauch erheblich reduziert und die Berechnungen im Vergleich zum klassischen Ansatz beschleunigt.

Die Hauptidee von FlashAttention ist es, die Aufmerksamkeit zu berechnen, ohne explizit große Matrizen Zwischenresultate (z.B. die Attention-Gewichtsmatrix QK^T) zu speichern, indem Blockverarbeitung und effiziente Nutzung des GPU-Cache verwendet werden. Dies ermöglicht eine Reduzierung des maximalen Speicherverbrauchs um etwa 3-4 Mal, was besonders beim Training großer Sprachmodelle (LLM) mit langen Sequenzen wichtig ist.

Ungefähr, wenn die klassische Aufmerksamkeit O(N^2) Speicher für eine Sequenz der Länge N benötigt, reduziert FlashAttention diese Last durch Berechnungen in Echtzeit und Optimierungen, was es ermöglicht, Modelle mit größeren Kontexten auf denselben GPUs laufen zu lassen.

Daher ist FlashAttention eine Methode, um Aufmerksamkeit speichereffizienter und schneller zu machen, was für großskalige Modelle kritisch ist.