Ce este lungimea contextului și de ce este dificil să o extinzi?

Lungimea contextului (lungimea contextului) este numărul maxim de tokenuri (cuvinte sau părți de cuvinte) pe care un model de limbaj de mari dimensiuni (LLM) îl poate lua în considerare simultan în timpul generării sau analizei textului.

Limitarea lungimii contextului este legată de arhitectura transformatoarelor, unde complexitatea computațională a atenției crește quadratic odată cu lungimea intrării. Acest lucru duce la:

• Costuri mari de memorie și timp pe măsură ce lungimea contextului crește.
• Limitări ale resurselor hardware.

Extinderea lungimii contextului este dificilă deoarece:

• Necesită mult mai multe resurse computaționale.
• Este nevoie să se modifice arhitectura modelului sau să se utilizeze tehnici speciale (de exemplu, comprimarea contextului, fereastră glisantă, mecanisme recurente).

Prin urmare, lungimea contextului reprezintă un compromis între capacitatea de a lua în considerare mai multe informații și limitările de performanță.