Qu'est-ce que le cache de préfixe en inférence?

La mise en cache des préfixes lors de l'inférence de grands modèles de langage (LLM) est une technique d'optimisation dans laquelle les calculs intermédiaires pour les tokens déjà traités sont stockés et réutilisés lors de la génération du token suivant.

Lors de la génération de texte, le modèle traite séquentiellement chaque token, en calculant les états cachés. Au lieu de recalculer tous les états pour toute la séquence lors de l'ajout d'un nouveau token, la mise en cache des préfixes permet de sauvegarder les résultats pour le préfixe (la partie déjà générée) et de les utiliser directement.

Cela accélère considérablement l'inférence, en réduisant la charge de calcul et la latence, surtout lors de la génération de longues séquences.

Cela ressemble à ceci :

• À l'étape t, les états pour les tokens 1..t sont calculés.
• Lors du passage à l'étape t+1, les états pour les tokens 1..t sont récupérés du cache, et seul l'état pour le token t+1 est calculé.

Ainsi, la mise en cache des préfixes est une technique clé pour une sortie efficace et rapide dans les LLM.