Какво е дължината на контекста и защо е трудно да я разширите?

Дължината на контекста (дължина на контекста) е максималният брой токени (думи или части от думи), които модел с голям езиков модел (LLM) може да вземе предвид едновременно при генериране или анализ на текст.

Ограничението на дължината на контекста е свързано с архитектурата на трансформаторите, където изчислителната сложност на вниманието расте квадратично с дължината на входа. Това води до:

• Високи разходи за памет и време при увеличаване на дължината на контекста.
• Ограничения върху хардуерните ресурси.

Разширяването на дължината на контекста е трудно, защото:

• Изисква много повече изчислителни ресурси.
• Необходимо е да се променя архитектурата на модела или да се използват специални техники (например, компресиране на контекста, плъзгащо се окно, рекурентни механизми).

Следователно, дължината на контекста е компромис между възможността да се вземат предвид повече информация и ограниченията по производителност.