Kas yra prefiksų talpinimas inferencijoje?

Prefikso talpinimas inferencijoje didelių kalbos modelių (LLM) yra optimizavimo technika, kurioje tarpinių skaičiavimų rezultatai, jau apdorotų tokenų, yra saugomi ir naudojami pakartotinai kuriant kitą tokeną.

Kuriant tekstą, modelis nuosekliai apdoroja kiekvieną tokeną ir skaičiuoja paslėptus būsenas. Vietoj to, kad kiekvieną kartą, kai pridedamas naujas tokenas, iš naujo skaičiuotų visą seką, prefikso talpinimas leidžia išsaugoti rezultatus prefiksui (jau sugeneruotai daliai) ir naudoti juos tiesiogiai.

Tai žymiai pagreitina inferenciją, sumažina skaičiavimų apkrovą ir vėlavimą, ypač ilgų sekų generavimo metu.

Maždaug taip atrodo:

• t žingsnyje skaičiuojamos būsenos 1..t tokenams.
• Perėjimo prie t+1 žingsnio metu, būsenos 1..t tokenams paimamos iš talpyklos, ir skaičiuojama tik būsenos t+1.

Todėl prefikso talpinimas yra pagrindinė technika efektyviam ir greitam išėjimui LLM.