Kas yra FlashAttention iš branduolio programavimo perspektyvos?

FlashAttention yra optimizuotas CUDA branduolys dėmesio mechanizmo skaičiavimui transformatoriuose, kuris žymiai pagreitina skaičiavimus ir sumažina atminties suvartojimą.

Branduolio programavimo požiūriu, FlashAttention įgyvendina dėmesio skaičiavimą naudojant efektyvų atminties valdymą ir paralelizmą GPU. Pagrindinės savybės:

• Naudojami bendros atminties blokai tarpinėms duomenų saugojimui, kas sumažina lėtą globalios atminties prieigą.
• Dėmesio skaičiavimas vyksta siūluose su minimaliu duomenų dubliavimu.
• Softmax skaičiavimas optimizuotas atsižvelgiant į skaitmeninį stabilumą.
• Didelių sekų apdorojimas be poreikio įkelti visus duomenis į atmintį vienu metu.

Tai leidžia atlikti dėmesį greičiau ir su mažesniu atminties suvartojimu, palyginti su klasikiniu įgyvendinimu, kas yra kritiška didelių modelių mokymui.

Pavyzdžiui, branduolys įkelia raktų ir užklausų blokus, skaičiuoja skalarius sandaugas, taiko softmax ir daugybę iš jų su reikšmėmis, naudojant bendrą atmintį greitinimui ir minimizuojant globalios atminties prieigą.