Kernel programlama açısından FlashAttention nedir?

FlashAttention, transformerlerde dikkat mekanizmasını hesaplamak için optimize edilmiş bir CUDA çekirdeğidir ve hesaplamaları önemli ölçüde hızlandırır ve bellek kullanımını azaltır.

Çekirdek programlama açısından, FlashAttention GPU üzerinde verimli bellek yönetimi ve paralellik kullanarak dikkat hesaplamasını gerçekleştirir. Temel özellikleri:

• Ara verileri depolamak için paylaşılan bellek bloklarının kullanılması, bu da yavaş küresel bellek erişimlerini azaltır.
• Düşük veri çoğaltmasıyla dikkat hesaplaması.
• Sayısal kararlılığı göz önünde bulundurarak softmax hesaplamasının optimize edilmesi.
• Tüm verileri aynı anda belleğe yüklemeye gerek kalmadan büyük dizilerin işlenmesi.

Bu, klasik uygulamalara kıyasla dikkat işlemini daha hızlı ve daha az bellek kullanarak yapmayı sağlar, bu da büyük modellerin eğitimi için kritiktir.

Örneğin, çekirdek anahtarlar ve sorguları yükler, skalar çarpımlar hesaplar, softmax uygular ve değerlerle çarpar, hızlandırmak ve küresel bellek erişimlerini en aza indirmek için paylaşılan belleği kullanır.