Wat is multi-query attention en waar wordt het gebruikt?

Multi-query aandacht is een modificatie van het aandachtmechanisme in transformatoren, waarbij meerdere sleutels (keys) en waarden (values) worden samengevoegd in één gemeenschappelijke set, en voor elke query (query) wordt een aparte set van queries gebruikt. Dit maakt het mogelijk om het geheugenverbruik en de rekenkosten aanzienlijk te verminderen, vooral bij het werken met lange sequenties, terwijl de kwaliteit van het model behouden blijft.

De belangrijkste toepassing van multi-query aandacht is in grote taalmodellen en transformatoren, waar efficiëntie en schaalbaarheid belangrijk zijn, bijvoorbeeld in GPT-4 en andere moderne architecturen. Deze aanpak helpt de inferentie te versnellen en de resource-eisen te verlagen zonder aanzienlijke verlies van nauwkeurigheid.

Voorbeeld: in plaats van aparte sleutels en waarden voor elk aandachtshoofd (multi-head attention), gebruiken alle hoofden een gemeenschappelijke set van sleutels en waarden, terwijl de queries individueel blijven.