Wat is prefix caching bij inferentie?

Prefix caching in de inferentie van grote taalmodellen (LLM) is een optimalisatietechniek waarbij tussenberekeningen voor al verwerkte tokens worden opgeslagen en hergebruikt bij het genereren van het volgende token.

Bij het genereren van tekst verwerkt het model sequentieel elk token en berekent het de verborgen toestanden. In plaats van alle toestanden opnieuw te berekenen voor de hele sequentie bij het toevoegen van een nieuw token, maakt prefix caching het mogelijk om de resultaten voor het prefix (het reeds gegenereerde deel) op te slaan en direct te gebruiken.

Dit versnelt de inferentie aanzienlijk, vermindert de rekenbelasting en latentie, vooral bij het genereren van lange sequenties.

Het ziet er ongeveer zo uit:

• In stap t worden de toestanden voor tokens 1..t berekend.
• Bij overgang naar stap t+1 worden de toestanden voor tokens 1..t uit de cache gehaald, en wordt alleen de toestand voor token t+1 berekend.

Daarom is prefix caching een belangrijke techniek voor efficiënte en snelle output in LLMs.