O que é o cache de prefixo na inferência?

O armazenamento em cache de prefixos na inferência de grandes modelos de linguagem (LLM) é uma técnica de otimização na qual os cálculos intermediários para os tokens já processados são armazenados e reutilizados na geração do próximo token.

Ao gerar texto, o modelo processa sequencialmente cada token, calculando os estados ocultos. Em vez de recalcular todos os estados para toda a sequência ao adicionar um novo token, o armazenamento em cache de prefixos permite guardar os resultados para o prefixo (parte já gerada) e usá-los diretamente.

Isso acelera significativamente a inferência, reduzindo a carga computacional e as latências, especialmente ao gerar sequências longas.

Mais ou menos assim:

• No passo t, os estados para os tokens 1..t são calculados.
• Ao passar para o passo t+1, os estados para os tokens 1..t são retirados do cache, e apenas o estado para o token t+1 é calculado.

Assim, o armazenamento em cache de prefixos é uma técnica fundamental para uma saída eficiente e rápida em LLMs.