Kas ir prefiksa kešēšana inferencē?

Prefiksa kešošana lielu valodu modeļu (LLM) inferencē ir optimizācijas tehnika, kurā tiek saglabāti starpposma aprēķini jau apstrādātajiem tokeniem un tie tiek atkārtoti izmantoti nākamā tokena ģenerēšanā.

Teksta ģenerēšanas laikā modelis secīgi apstrādā katru tokenu, aprēķinot slēptās stāvokļus. Tā vietā, lai atkārtoti aprēķinātu visus stāvokļus visai secībai, pievienojot jaunu tokenu, prefiksa kešošana ļauj saglabāt rezultātus priekšskatījumam (jau ģenerētajai daļai) un tieši tos izmantot.

Tas ievērojami paātrina inferenci, samazina aprēķinu slodzi un aizkaves, īpaši ilgāku secību ģenerēšanas laikā.

Aptuveni tas izskatās šādi:

• solī t tiek aprēķināti stāvokļi 1..t tokeniem.
• Pārejot uz soli t+1, stāvokļi 1..t tiek ņemti no kešatmiņas, un tiek aprēķināts tikai stāvoklis t+1.

Tādējādi prefiksa kešošana ir galvenā tehnika efektīvai un ātrai izvadei LLM.