KV kechikmasining hajmini qanday kamaytirish mumkin (GQA, MQA, siljish oynasi)?

GKV-Cache (Key-Value cache) GQA (Grouped Query Attention), MQA (Multi-Query Attention) va sliding window kontekstida, o‘rtacha kalitlar va qiymatlarni saqlash uchun ishlatiladi va matn ishlab chiqarishni tezlashtiradi. GKV-Cache hajmini kamaytirish uchun quyidagi yondashuvlar qo‘llanilishi mumkin:

• Sliding window: cache’da faqat oxirgi N tokenlarni saqlash, barcha tarixni emas. Bu cache hajmini cheklaydi va xotira iste’molini kamaytiradi.
• GQA o‘rniga MQA: MQA barcha diqqat boshlari uchun bitta kalit va qiymatni ishlatadi, bu GQA ga nisbatan cache hajmini sezilarli darajada kamaytiradi, chunki GQA’da har bir bosh uchun alohida kalit va qiymat saqlanadi.
• KV-cache kvantizatsiyasi: kalitlar va qiymatlarni siqilgan shaklda saqlash, masalan, pastroq aniqlik bilan (float16, int8), xotira hajmini kamaytirish uchun.
• Noto‘g‘ri elementlarni o‘chirish: cache’ni vaqti-vaqti bilan tozalash yoki siqish, eskirgan yoki kamroq muhim elementlarni olib tashlash.

Sliding window’dan foydalanish misoli:

window_size = 512  # tokenlar soni cache’da
kv_cache = kv_cache[-window_size:]

Ushbu metodlarni birlashtirish orqali, GKV cache hajmini samarali tarzda kamaytirish mumkin va ishlab chiqarish sifatiga katta ta’sir qilmaydi.