Mis on prefikside vahemällu salvestamine inference'is?

Prefiksi vahemälu kasutamine suurte keelemudelite (LLM) inference'is on optimeerimistehnika, mille käigus salvestatakse juba töödeldud tokenite vahearvutused ja neid kasutatakse uuesti järgmise tokeni genereerimisel.

Teksti genereerimisel töötleb mudel järjest iga tokeni ja arvutab välja varjatud olekud. Selle asemel, et iga kord, kui lisatakse uus token, arvutada uuesti kogu järjestuse olekud, võimaldab prefiksi vahemälu salvestada tulemused eelnevalt genereeritud osale (prefiksile) ja neid otse kasutada.

See kiirendab märkimisväärselt inference'i, vähendab arvutuskoormust ja latentsust, eriti pikkade järjestuste genereerimisel.

See näeb välja umbes nii:

• sammus t arvutatakse olekud tokenitele 1..t.
• sammule t+1 üleminekul võetakse olekud 1..t vahemälust ja arvutatakse ainult olek t+1 jaoks.

Seega on prefiksi vahemälu oluline tehnika tõhusa ja kiire väljundi saavutamiseks LLM-ides.