Kas yra FlashAttention ir kokią naudą suteikia atminties požiūriu?

FlashAttention yra optimizuotas algoritmas dėmesio mechanizmo skaičiavimui transformatoriuose, kuris žymiai sumažina atminties suvartojimą ir pagreitina skaičiavimus, palyginti su klasikiniu požiūriu.

Pagrindinė FlashAttention idėja yra apskaičiuoti dėmesį nesaugojant aiškiai didelių tarpinio rezultatų matricų (pavyzdžiui, dėmesio svorių matricą QK^T), naudojant blokinį apdorojimą ir efektyvų GPU talpyklos naudojimą. Tai leidžia sumažinti maksimalią atminties apkrovą apie 3-4 kartus, kas ypač svarbu mokant didelius kalbos modelius (LLM) su ilgomis sekcijomis.

Apytikriai, jei klasikinis dėmesys reikalauja atminties O(N^2) N ilgio sekai, FlashAttention sumažina šią naštą realiu laiku atliekamais skaičiavimais ir optimizacijomis, leidžiančiomis paleisti didesnius kontekstus turinčius modelius su tais pačiais GPU.

Taigi, FlashAttention yra būdas padaryti dėmesį efektyvesnį atminties ir greičio požiūriu, kas yra kritiška didelio masto modeliams.