Cos'è la cache dei prefissi nell'inferenza?

La memorizzazione dei prefissi nell'inferenza di grandi modelli linguistici (LLM) è una tecnica di ottimizzazione in cui i calcoli intermedi per i token già elaborati vengono memorizzati e riutilizzati durante la generazione del token successivo.

Durante la generazione del testo, il modello elabora sequenzialmente ogni token, calcolando gli stati nascosti. Invece di ricalcolare tutti gli stati per l'intera sequenza quando si aggiunge un nuovo token, la memorizzazione dei prefissi consente di salvare i risultati per il prefisso (la parte già generata) e di usarli direttamente.

Questo accelera notevolmente l'inferenza, riducendo il carico computazionale e le latenze, specialmente durante la generazione di sequenze lunghe.

Più o meno così:

• Al passo t, vengono calcolati gli stati per i token 1..t.
• Passando al passo t+1, gli stati per i token 1..t vengono presi dalla cache, e viene calcolato solo lo stato per il token t+1.

Pertanto, la memorizzazione dei prefissi è una tecnica chiave per un output efficiente e rapido negli LLM.