Τι είναι η προσωρινή αποθήκευση προθέματος στην inference;

Η προσωρινή αποθήκευση προθέματος στην inference μεγάλων μοντέλων γλώσσας (LLM) είναι μια τεχνική βελτιστοποίησης στην οποία οι ενδιάμεσοι υπολογισμοί για ήδη επεξεργασμένα tokens αποθηκεύονται και επαναχρησιμοποιούνται κατά τη δημιουργία του επόμενου token.

Κατά τη δημιουργία κειμένου, το μοντέλο επεξεργάζεται διαδοχικά κάθε token, υπολογίζοντας τις κρυφές καταστάσεις. Αντί να επαναυπολογίζει όλες τις καταστάσεις για ολόκληρη τη ακολουθία κατά την προσθήκη ενός νέου token, η προσωρινή αποθήκευση προθέματος επιτρέπει την αποθήκευση των αποτελεσμάτων για το πρόθεμα (το ήδη δημιουργημένο μέρος) και την άμεση χρήση τους.

Αυτό επιταχύνει σημαντικά την inference, μειώνοντας το φόρτο υπολογισμού και τις καθυστερήσεις, ειδικά κατά τη δημιουργία μακρών ακολουθιών.

Περίπου έτσι φαίνεται:

• Στο βήμα t, υπολογίζονται οι καταστάσεις για τα tokens 1..t.
• Μετάβαση στο βήμα t+1, οι καταστάσεις για τα tokens 1..t λαμβάνονται από την cache, και υπολογίζεται μόνο η κατάσταση για το token t+1.

Έτσι, η προσωρινή αποθήκευση προθέματος είναι μια βασική τεχνική για αποτελεσματική και γρήγορη έξοδο στα LLM.