Mi az a FlashAttention és milyen memória nyereséget nyújt?

A FlashAttention egy optimalizált algoritmus a figyelem (attention) mechanizmus számítására a transzformátorokban, amely jelentősen csökkenti a memóriafelhasználást és felgyorsítja a számításokat a klasszikus megközelítéshez képest.

A FlashAttention fő ötlete, hogy a figyelmet anélkül számolja ki, hogy nyilvánosan tárolná a nagy közbenső eredménymátrixokat (például a figyelem súlymátrix QK^T), blokkos feldolgozást és hatékony GPU-cache használatával. Ez lehetővé teszi, hogy a maximális memóriahasználat körülbelül 3-4 szer csökkenjen, ami különösen fontos nagy nyelvi modellek (LLM) hosszú szekvenciákkal való tanításakor.

Körülbelül, ha a klasszikus figyelem O(N^2) memóriát igényel egy N hosszúságú szekvenciához, a FlashAttention ezt a terhelést valós idejű számítások és optimalizációk révén csökkenti, lehetővé téve nagyobb kontextusokkal rendelkező modellek futtatását ugyanazon GPU-kon.

Így a FlashAttention egy módszer arra, hogy a figyelmet memória- és gyorsaság szempontjából hatékonyabbá tegyük, ami kritikus a nagy léptékű modellek számára.