Kernel программалоо жагынан FlashAttention деген эмне?

FlashAttention — бул трансформерлердеги көңүл буруу (attention) механизмин эсептөө үчүн оптималдаштырылган CUDA ядросу, ал эсептөөлөрдү кыйла тездетет жана эс тутумдун керектөөнү азайтат.

Kernel программалоо жагынан, FlashAttention GPUда эффективдүү эс тутум башкаруу жана параллелизмди колдонуп, көңүл буруу эсептөөсүн ишке ашырат. Негизги өзгөчөлүктөрү:

• Орто маалыматтарды сактоо үчүн бөлүшүлгөн эс тутум блокторун колдонуу, бул жай глобалдык эс тутумга кайрылууларды азайтат.
• Модулду минималдуу дубалдоо менен көңүл буруу эсептөө.
• Сандык туруктуулукту эске алуу менен softmax эсептөө оптималдаштырылган.
• Бардык маалыматтарды бир убакта эс тутумга жүктөбөстөн, чоң последовательносторду иштетүү.

Бул классикалык ишке ашырууларга салыштырмалуу көңүл бурууну тезирек жана аз эс тутум менен ишке ашырууга мүмкүндүк берет, бул чоң моделдерди үйрөтүү үчүн критикалык.

Мисалы, ядро ачкычтар жана суроолордун блокторун жүктөйт, скалярлык көбөйтүүлөрдү эсептейт, softmax колдонуп, маанилер менен көбөйтөт, глобалдык кайрылууларды минималдаштыруу жана тездетүү үчүн бөлүшүлгөн эс тутумду колдонуп.