Что такое prefix caching в инференсе?

Prefix caching в инференсе больших языковых моделей (LLM) — это техника оптимизации, при которой промежуточные вычисления для уже обработанных токенов сохраняются и повторно используются при генерации следующего токена.

При генерации текста модель последовательно обрабатывает каждый токен, вычисляя скрытые состояния (hidden states). Вместо того чтобы заново вычислять все состояния для всей последовательности при добавлении нового токена, prefix caching позволяет сохранить результаты для префикса (уже сгенерированной части) и использовать их напрямую.

Это значительно ускоряет инференс, снижая вычислительную нагрузку и задержки, особенно при генерации длинных последовательностей.

Примерно это выглядит так:

• На шаге t вычисляются состояния для токенов 1..t.
• При переходе к шагу t+1 состояния для токенов 1..t берутся из кеша, вычисляется только состояние для токена t+1.

Таким образом, prefix caching — ключевой прием для эффективного и быстрого вывода в LLM.