Mis on konteksti pikkus ja miks on seda raske laiendada?

Konteksti pikkus (konteksti pikkus) on maksimaalne tokenite (sõnade või sõnaosade) arv, mida suur keelemudel (LLM) saab samaaegselt arvestada teksti genereerimisel või analüüsimisel.

Konteksti pikkuse piirang on seotud transformaatormudelite arhitektuuriga, kus tähelepanu arvutuslik keerukus kasvab sisendi pikkusega kvadratiivselt. See põhjustab:

• Suuri mälu- ja aja kulu konteksti pikkuse suurendamisel.
• Riistvararessursside piiranguid.

Konteksti pikkuse laiendamine on keeruline, sest:

• See nõuab palju rohkem arvutusressursse.
• Vajalik on muuta mudeli arhitektuuri või kasutada spetsiaalseid tehnikaid (näiteks konteksti tihendamine, libisev aken, rekursiivsed mehhanismid).

Seega on konteksti pikkus kompromiss suurema teabe arvesse võtmise ja jõudluspiirangute vahel.