Kas ir FlashAttention no kodola programmēšanas viedokļa?

FlashAttention ir optimizēts CUDA kodols, kas paredzēts uzmanības mehānisma (attention) aprēķināšanai transformatoros, kas ievērojami paātrina aprēķinus un samazina atmiņas patēriņu.

No kodola programmēšanas skatpunkta, FlashAttention realizē uzmanības aprēķinu, izmantojot efektīvu atmiņas pārvaldību un paralēlismu GPU. Galvenās īpašības:

• Izmanto koplietojamas atmiņas blokus starpproduktu datu glabāšanai, kas samazina lēnas globālās atmiņas piekļuves.
• Aprēķins notiek pavedienos ar minimālu datu dublēšanu.
• Softmax aprēķins ir optimizēts, ņemot vērā skaitlisko stabilitāti.
• Lielu secību apstrāde bez nepieciešamības ielādēt visus datus vienlaikus atmiņā.

Tas ļauj ātrāk veikt uzmanību un ar mazāku atmiņas patēriņu, salīdzinot ar klasiskajām realizācijām, kas ir kritiski lielu modeļu apmācībai.

Piemēram, kodols ielādē atslēgas un pieprasījumu blokus, aprēķina skalāros produktus, piemēro softmax un reizinās ar vērtībām, izmantojot koplietojamu atmiņu, lai paātrinātu un samazinātu globālo piekļuvi.