Šta je prefix keširanje u inferenciji?

Keširanje prefiksa u inferenciji velikih jezičkih modela (LLM) je tehnika optimizacije u kojoj se međuzbraćeni računi za već obrađene tokene čuvaju i ponovo koriste prilikom generisanja sledećeg tokena.

Prilikom generisanja teksta, model sekvencijalno obrađuje svaki token, računajući skrivene stanja. Umesto da ponovo računa sva stanja za celokupnu sekvencu pri dodavanju novog tokena, keširanje prefiksa omogućava da se rezultati za prefiks (već generisani deo) sačuvaju i koriste direktno.

Ovo značajno ubrzava inferenciju, smanjujući računarsku opterećenost i latenciju, posebno pri generisanju dužih sekvenci.

Otprilike izgleda ovako:

• Na koraku t, računaju se stanja za tokene 1..t.
• Pri prelasku na korak t+1, stanja za tokene 1..t se preuzimaju iz keša, a računa se samo stanje za token t+1.

Tako je keširanje prefiksa ključna tehnika za efikasan i brz izlaz u LLM.