Kernel dasturlash nuqtai nazaridan FlashAttention nima?

FlashAttention CUDA kernelini optimallashtirilgan bo‘lib, u transformatorlardagi diqqat mexanizmini hisoblash uchun mo‘ljallangan, bu hisoblashlarni sezilarli darajada tezlashtiradi va xotira iste'molini kamaytiradi.

Kernel dasturlash nuqtai nazaridan, FlashAttention GPUda samarali xotira boshqaruvi va parallelizm yordamida diqqatni hisoblashni amalga oshiradi. Asosiy xususiyatlari:

• Oraliq ma'lumotlarni saqlash uchun umumiy xotira bloklaridan foydalanish, bu sekin global xotira so'rovlarini kamaytiradi.
• Dasturlarni minimal ma'lumot takrorlanishi bilan diqqatni hisoblash.
• Raqamli barqarorlikni hisobga olgan holda softmax hisoblashni optimallashtirish.
• Barcha ma'lumotlarni bir vaqtning o'zida xotiraga yuklamasdan katta ketma-ketliklarni ishlash.

Bu, klassik amalga oshirishlarga nisbatan diqqatni tezroq va kamroq xotira bilan bajarishga imkon beradi, bu esa katta modellarning o'qitilishi uchun juda muhimdir.

Misol uchun, kernel kalitlar va so'rovlar bloklarini yuklaydi, skalar ko'paytmalarni hisoblaydi, softmaxni qo‘llaydi va qiymatlar bilan ko‘paytiradi, global xotira so'rovlarini minimallashtirish va tezlashtirish uchun umumiy xotira ishlatiladi.