Was ist Prefix-Caching bei der Inferenz?

Prefix-Caching bei der Inferenz großer Sprachmodelle (LLM) ist eine Optimierungstechnik, bei der Zwischenberechnungen für bereits verarbeitete Tokens gespeichert und bei der Generierung des nächsten Tokens wiederverwendet werden.

Beim Textgenerieren verarbeitet das Modell sequenziell jedes Token und berechnet die versteckten Zustände. Anstatt alle Zustände für die gesamte Sequenz neu zu berechnen, wenn ein neues Token hinzugefügt wird, ermöglicht das Prefix-Caching das Speichern der Ergebnisse für das Präfix (den bereits generierten Teil) und deren direkte Nutzung.

Dies beschleunigt die Inferenz erheblich, reduziert die Rechenlast und Latenzzeiten, insbesondere bei der Generierung langer Sequenzen.

Das sieht ungefähr so aus:

• Im Schritt t werden die Zustände für die Tokens 1..t berechnet.
• Beim Übergang zum Schritt t+1 werden die Zustände für die Tokens 1..t aus dem Cache genommen, und nur der Zustand für das Token t+1 wird berechnet.

Daher ist Prefix-Caching eine Schlüsseltechnik für eine effiziente und schnelle Ausgabe in LLMs.