Mi az a kontextus hosszúsága, és miért nehéz bővíteni?

A kontextus hossza (kontekstus hossza) — ez a maximális tokenek száma (szavak vagy szavak részei), amelyet egy nagy nyelvi modell (LLM) egyidejűleg figyelembe vehet szöveg generálásakor vagy elemzésekor.

A kontextus hosszának korlátozása a transzformátorok architektúrájához kapcsolódik, ahol a figyelem számítási komplexitása négyzetesen nő a bemenet hosszával. Ez oda vezet:

• Magas memória- és időráfordítás a kontextus hosszának növelésekor.
• Hardver erőforrásokra vonatkozó korlátozások.

A kontextus hosszának bővítése nehéz, mert:

• Sokkal több számítási erőforrást igényel.
• Meg kell változtatni a modell architektúráját vagy speciális technikákat kell alkalmazni (pl. kontextus tömörítése, csúszó ablak, rekurzív mechanizmusok).

Így a kontextus hossza kompromisszum a több információ figyelembevétele és a teljesítménykorlátozások között.