Чӣ гуна андозаи кеши KV-ро кам кардан мумкин аст (GQA, MQA, тирезаи ҳаракаткунанда)?

GKV-каш (Key-Value cache) дар контексти моделҳо бо GQA (Grouped Query Attention), MQA (Multi-Query Attention) ва тирезаи ҳаракаткунанда барои нигоҳ доштани калидҳо ва арзишҳои таваҷҷӯҳ истифода мешавад, то истеҳсоли матнро суръат бахшад. Барои кам кардани андозаи GKV-каш, метавонанд ба ин роҳҳо муроҷиат кунанд:

• Тирезаи ҳаракаткунанда: танҳо охирин N токенро дар кеш нигоҳ доред, на тамоми таърихро. Ин андозаи кешро маҳдуд мекунад ва истифодаи хотирасозиро кам мекунад.
• MQA ба ҷои GQA: MQA як калид ва арзишро барои ҳамаи сарҳои таваҷҷӯҳ истифода мекунад, ки андозаи кешро дар муқоиса бо GQA, ки барои ҳар сар калид ва арзиш ҷудо нигоҳ дошта мешавад, назар ба назар кам мекунад.
• Квантизацияи GKV-каш: калидҳо ва арзишҳоро дар шакли фишурда нигоҳ доред, масалан, бо дақиқии паст (float16, int8), то ҳаҷми хотирасозиро кам кунед.
• Насб кардани унсурҳои номувофиқ: кешро дар вақти муайян тоза ё фишурда кунед, унсурҳои кӯҳна ё камтар муҳимро хориҷ кунед.

Маслиҳат барои истифодаи тирезаи ҳаракаткунанда:

window_size = 512  # шумораи токенҳо дар кеш
kv_cache = kv_cache[-window_size:]

Бо ҳамҷоя кардани ин усулҳо, метавонанд андозаи GKV-кашро самаранок кам кунанд, бидуни таъсири назаррас ба сифати истеҳсоли матн.