Czym jest cache'owanie prefiksów w inferencji?

Buforowanie prefiksów w inferencji dużych modeli językowych (LLM) to technika optymalizacji, w której obliczenia pośrednie dla już przetworzonych tokenów są przechowywane i ponownie wykorzystywane podczas generowania kolejnego tokena.

Podczas generowania tekstu model przetwarza kolejno każdy token, obliczając stany ukryte. Zamiast ponownie obliczać wszystkie stany dla całej sekwencji przy dodaniu nowego tokena, buforowanie prefiksów pozwala zapisać wyniki dla prefiksu (już wygenerowanej części) i używać ich bezpośrednio.

To znacznie przyspiesza inferencję, zmniejsza obciążenie obliczeniowe i opóźnienia, szczególnie przy generowaniu długich sekwencji.

To wygląda mniej więcej tak:

• W kroku t obliczane są stany dla tokenów 1..t.
• Przechodząc do kroku t+1, stany dla tokenów 1..t są pobierane z pamięci podręcznej, a obliczany jest tylko stan dla tokena t+1.

Dlatego buforowanie prefiksów jest kluczową techniką dla efektywnego i szybkiego generowania wyników w LLM.