Hoe verklein je de grootte van de KV-cache (GQA, MQA, schuifvenster)?

De KV-cache (Key-Value cache) in de context van modellen met GQA (Grouped Query Attention), MQA (Multi-Query Attention) en sliding window wordt gebruikt om tussenliggende sleutels en waarden van de aandacht op te slaan, om zo de tekstgeneratie te versnellen. Om de grootte van de KV-cache te verminderen, kunnen de volgende benaderingen worden toegepast:

• Sliding window: alleen de laatste N tokens in de cache opslaan, in plaats van de hele geschiedenis. Dit beperkt de grootte van de cache en vermindert het geheugengebruik.
• MQA in plaats van GQA: MQA gebruikt één sleutel en waarde voor alle aandachtshoofden, wat de cachegrootte aanzienlijk vermindert in vergelijking met GQA, waar voor elk hoofd een aparte sleutel en waarde worden opgeslagen.
• Kwantificatie van de KV-cache: sleutels en waarden opslaan in een gecomprimeerde vorm, bijvoorbeeld met lagere precisie (float16, int8), om het geheugengebruik te verminderen.
• Verwijdering van niet-relevante elementen: de cache periodiek opschonen of comprimeren, door verouderde of minder belangrijke elementen te verwijderen.

Voorbeeld van het gebruik van een sliding window:

window_size = 512  # aantal tokens in de cache
kv_cache = kv_cache[-window_size:]

Door deze methoden te combineren, kan de grootte van de KV-cache effectief worden verminderd zonder significante verlies van de kwaliteit van de gegenereerde tekst.