Multi-query dikkat nedir ve nerede kullanılır?

Çok sorgulu dikkat, dönüştürücülerdeki dikkat mekanizmasının bir modifikasyonudur; burada birkaç anahtar (keys) ve değer (values) ortak bir kümede birleştirilir ve her sorgu (query) için ayrı bir sorgu kümesi kullanılır. Bu, özellikle uzun dizilerle çalışırken bellek ve hesaplama maliyetlerini önemli ölçüde azaltmaya olanak tanır ve model kalitesini korur.

Çok sorgulu dikkat uygulamasının temel kullanımı, verimlilik ve ölçeklenebilirliğin önemli olduğu büyük dil modelleri ve dönüştürücülerde, örneğin GPT-4 ve diğer modern mimarilerde bulunur. Bu yaklaşım, doğruluk kaybı olmadan çıkarımı hızlandırmaya ve kaynak gereksinimlerini azaltmaya yardımcı olur.

Örnek: her dikkat başlığı (multi-head attention) için ayrı anahtarlar ve değerler yerine, tüm başlıklar ortak bir anahtar ve değer kümesi kullanır ve sorgular bireysel kalır.