¿Qué es el caching de prefijos en la inferencia?

El almacenamiento en caché de prefijos en la inferencia de grandes modelos de lenguaje (LLM) es una técnica de optimización en la que los cálculos intermedios para los tokens ya procesados se almacenan y se reutilizan al generar el siguiente token.

Al generar texto, el modelo procesa secuencialmente cada token, calculando los estados ocultos. En lugar de recalcular todos los estados para toda la secuencia al agregar un nuevo token, el almacenamiento en caché de prefijos permite guardar los resultados para el prefijo (la parte ya generada) y usarlos directamente.

Esto acelera significativamente la inferencia, reduciendo la carga computacional y las latencias, especialmente al generar secuencias largas.

Esto es aproximadamente así:

• En el paso t, se calculan los estados para los tokens 1..t.
• Al pasar al paso t+1, los estados para los tokens 1..t se toman del caché, y solo se calcula el estado para el token t+1.

Por lo tanto, el almacenamiento en caché de prefijos es una técnica clave para una salida eficiente y rápida en los LLM.