FlashAttention nedir ve ne kadar bellek kazancı sağlar?

FlashAttention, transformerlerde dikkat mekanizmasının hesaplanması için optimize edilmiş bir algoritmadır ve klasik yaklaşıma kıyasla bellek kullanımını önemli ölçüde azaltır ve hesaplamaları hızlandırır.

FlashAttention'ın temel fikri, dikkat hesaplamalarını büyük ara sonuç matrisleri (örneğin, dikkat ağırlık matrisi QK^T) açıkça depolamadan, blok işleme ve GPU önbellek verimli kullanımıyla yapmaktır. Bu, yaklaşık 3-4 kat daha az bellek kullanımına izin verir ve uzun dizilere sahip büyük dil modellerinin (LLM) eğitimi sırasında özellikle önemlidir.

Yaklaşık olarak, klasik dikkat, N uzunluğundaki bir dizi için O(N^2) bellek gerektirirken, FlashAttention bu yükü gerçek zamanlı hesaplamalar ve optimizasyonlar sayesinde azaltır ve aynı GPU'larda daha büyük bağlamlara sahip modellerin çalıştırılmasına olanak tanır.

Bu nedenle, FlashAttention, dikkat mekanizmasını bellek ve hız açısından daha verimli hale getiren bir yöntemdir ve büyük ölçekli modeller için kritiktir.