Что хотят услышать интервьюеры:
Интервьюеры хотят услышать, что кандидат понимает, как уменьшить память, занимаемую KV-cache в трансформерах с разными типами внимания (GQA, MQA, sliding window), используя техники сжатия, сокращения длины контекста и оптимизации структуры кеша. Важно упомянуть компромиссы между производительностью и качеством модели.

Определение:
KV-cache — это кеш ключей (Key) и значений (Value), сохраняемый в трансформерах для ускорения автогрессивного вывода. Уменьшение размера KV-cache означает оптимизацию хранения этих тензоров, чтобы снизить потребление памяти и вычислительные затраты, особенно при длинных контекстах и сложных схемах внимания (GQA — grouped query attention, MQA — multi-query attention, sliding window — скользящее окно).

Пример использования:

# Пример сокращения KV-cache для MQA с использованием скользящего окна
max_cache_length = 512  # ограничиваем длину кеша
if kv_cache_length > max_cache_length:
    kv_cache = kv_cache[:, :, -max_cache_length:, :]  # сохраняем только последние элементы

Пояснение кода:
Код показывает, как ограничить размер KV-cache, оставляя в кеше только последние элементы, что соответствует sliding window. Для MQA, где ключи и значения общие для всех запросов, это уменьшает память без потери важной информации из недавнего контекста. Аналогично можно применять группировку запросов (GQA) для уменьшения числа ключей.

Ключевые моменты:

Sliding window ограничивает длину кеша, сохраняя только последние токены, снижая память.
MQA уменьшает количество ключей, используя общий кеш для нескольких запросов.
GQA группирует запросы, уменьшая размер кеша за счет агрегации.
Баланс между размером кеша и качеством вывода критичен.
Можно применять сжатие (quantization, pruning) для KV-cache.
Важно учитывать архитектуру модели и требования к скорости вывода.

Как уменьшить размер KV-cache (GQA, MQA, sliding window)?