Ce este caching-ul de prefixe în inferență?

Cache-ul de prefixe în inferența modelelor mari de limbaj (LLM) este o tehnică de optimizare în care calculele intermediare pentru tokenii deja procesați sunt stocate și reutilizate în timpul generării următorului token.

În timpul generării textului, modelul procesează secvențial fiecare token, calculând stările ascunse. În loc să recalculze toate stările pentru întreaga secvență la adăugarea unui nou token, cache-ul de prefixe permite salvarea rezultatelor pentru prefix (partea deja generată) și utilizarea lor directă.

Acest lucru accelerează semnificativ inferența, reducând sarcina de calcul și latențele, mai ales la generarea de secvențe lungi.

Cam așa ar arăta:

• În pasul t, se calculează stările pentru tokenii 1..t.
• La trecerea la pasul t+1, stările pentru tokenii 1..t sunt preluate din cache, iar doar starea pentru tokenul t+1 este calculată.

Prin urmare, cache-ul de prefixe este o tehnică cheie pentru o ieșire eficientă și rapidă în LLM-uri.