Czym jest multi-query attention i gdzie jest używana?

Wielokrotne zapytanie uwagi to modyfikacja mechanizmu uwagi w transformatorach, w której kilka kluczy (keys) i wartości (values) jest łączonych w jeden wspólny zestaw, a dla każdego zapytania (query) używany jest osobny zestaw zapytań. Pozwala to znacznie zmniejszyć ilość pamięci i koszty obliczeniowe, szczególnie przy pracy z długimi sekwencjami, zachowując jednocześnie jakość modelu.

Główne zastosowanie wielokrotnej uwagi zapytania to w dużych modelach językowych i transformatorach, gdzie ważna jest wydajność i skalowalność, na przykład w GPT-4 i innych nowoczesnych architekturach. Podejście to pomaga przyspieszyć inferencję i zmniejszyć wymagania zasobów bez istotnej utraty dokładności.

Przykład: zamiast mieć oddzielne klucze i wartości dla każdej głowy uwagi (multi-head attention), wszystkie głowy korzystają z wspólnego zestawu kluczy i wartości, a zapytania pozostają indywidualne.