Čo je prefix caching pri inferencii?

Prefix caching v inferencii velikih jezikovnih modelov (LLM) je tehnika optimizacije, pri kateri se začasni izračuni za že obdelane tokene shranjujejo in ponovno uporabljajo pri generiranju naslednjega tokena.

Pri generiranju besedila model sekvenčno obdeluje vsak token in izračunava skrite stanja. Namesto da ponovno izračuna vsa stanja za celotno sekvenco ob dodajanju novega tokena, prefix caching omogoča shranjevanje rezultatov za predpono (že generirani del) in njihovo neposredno uporabo.

To znatno pospeši inference, zmanjša računsko obremenitev in zamude, še posebej pri generiranju dolgih sekvenc.

Približno tako izgleda:

• Na koraku t se izračunajo stanja za tokene 1..t.
• Pri prehodu na korak t+1 se stanja za tokene 1..t vzamejo iz predpomnilnika, in izračuna se le stanje za token t+1.

Zato je prefix caching ključna tehnika za učinkovito in hitro izhodno delovanje v LLM.