Mis on FlashAttention kernel-programmeerimise vaatenurgast?

FlashAttention on optimeeritud CUDA kernel, mis arvutab tähelepanu (attention) mehhanismi transformaatorsüsteemides, oluliselt kiirendades arvutusi ja vähendades mälu kasutust.

Kerneli programmeerimise vaatenurgast rakendab FlashAttention tähelepanu arvutust tõhusa mäluhalduse ja paralleelsuse abil GPU-l. Peamised omadused:

• Jagatud mälu plokkide kasutamine vaheandmete salvestamiseks, mis vähendab aeglase globaalmälu kasutamist.
• Tähelepanu arvutamine niitides minimaalse andmete dubleerimisega.
• Softmaxi arvutuse optimeerimine arvestades numbrilist stabiilsust.
• Suurte järjestuste töötlemine ilma vajaduseta kõiki andmeid korraga mällu laadida.

See võimaldab teha tähelepanu kiiremini ja väiksema mälu kasutusega võrreldes klassikaliste rakendustega, mis on kriitiline suurte mudelite koolitamisel.

Näiteks laadib kernel sisse võtmete ja päringute plokid, arvutab skalaarsed korrutised, rakendab softmaxi ja korrutab väärtustega, kasutades jagatud mälu kiirendamiseks ja globaalsete juurdepääsude minimeerimiseks.