Kas ir FlashAttention un kādu atmiņas ieguvumu tas sniedz?

FlashAttention ir optimizēts algoritms uzmanības mehānisma aprēķināšanai transformatoros, kas ievērojami samazina atmiņas patēriņu un paātrina aprēķinus salīdzinājumā ar klasisko pieeju.

Galvenā FlashAttention ideja ir aprēķināt uzmanību, neglabājot tieši lielas starpproduktu matricu (piemēram, uzmanības svaru matricu QK^T), izmantojot bloku apstrādi un efektīvu GPU kešatmiņas izmantošanu. Tas ļauj samazināt maksimālo atmiņas patēriņu apmēram 3-4 reizes, kas ir īpaši svarīgi, trenējot lielus valodu modeļus (LLM) ar garām secībām.

Aptuveni, ja klasiskā uzmanība prasa atmiņu O(N^2) N garas secības gadījumā, FlashAttention samazina šo slodzi ar reāllaika aprēķiniem un optimizācijām, ļaujot palaist modeļus ar lielākiem kontekstiem uz tiem pašiem GPU.

Tādējādi, FlashAttention ir veids, kā padarīt uzmanību efektīvāku atmiņas un ātruma ziņā, kas ir kritiski svarīgi lielu mērogu modeļiem.