Какво е prefix caching при инференса?

Кеширането на префикси при inference на големи езикови модели (LLM) е техника за оптимизация, при която междинните изчисления за вече обработените токени се съхраняват и се използват повторно при генериране на следващия токен.

При генериране на текст моделът последователно обработва всеки токен, изчислявайки скритите състояния. Вместо да пресмята всички състояния за цялата последователност при добавяне на нов токен, кеширането на префикси позволява да се запазят резултатите за префикса (вече генерираната част) и да се използват директно.

Това значително ускорява inference, намалявайки изчислителната натовареност и закъсненията, особено при генериране на дълги последователности.

Приблизително изглежда така:

• На стъпка t се изчисляват състоянията за токените 1..t.
• При преминаване към стъпка t+1, състоянията за токените 1..t се вземат от кеша, и се изчислява само състоянието за токена t+1.

Така кеширането на префикси е ключова техника за ефективен и бърз изход в LLM.