Wat is FlashAttention en welke geheugenwinst biedt het?

FlashAttention is een geoptimaliseerd algoritme voor het berekenen van het aandachtmechanisme in transformers, dat het geheugenverbruik aanzienlijk vermindert en de berekeningen versnelt in vergelijking met de klassieke aanpak.

Het belangrijkste idee van FlashAttention is om de aandacht te berekenen zonder expliciet grote matrices van tussenresultaten (bijvoorbeeld de aandacht gewichts matrix QK^T) op te slaan, door gebruik te maken van blokverwerking en efficiënt gebruik van GPU-cache. Dit maakt het mogelijk om het piekgeheugenverbruik ongeveer 3-4 keer te verminderen, wat vooral belangrijk is bij het trainen van grote taalmodellen (LLM) met lange sequenties.

Ongeveer, als de klassieke aandacht O(N^2) geheugen vereist voor een sequentie van lengte N, vermindert FlashAttention deze belasting door real-time berekeningen en optimalisaties, waardoor modellen met grotere contexten op dezelfde GPU's kunnen draaien.

Dus, FlashAttention is een manier om de aandacht efficiënter te maken qua geheugen en snelheid, wat cruciaal is voor grootschalige modellen.