O que é o comprimento do contexto e por que é difícil de expandir?

O comprimento do contexto (comprimento do contexto) é o número máximo de tokens (palavras ou partes de palavras) que um modelo de linguagem de grande escala (LLM) pode considerar simultaneamente ao gerar texto ou analisar.

A limitação do comprimento do contexto está relacionada com a arquitetura dos transformadores, onde a complexidade computacional da atenção aumenta quadraticamente com o comprimento da entrada. Isso leva a:

• Altos custos de memória e tempo ao aumentar o comprimento do contexto.
• Limitações nos recursos de hardware.

Expandir o comprimento do contexto é difícil porque:

• Requer muito mais recursos computacionais.
• É necessário alterar a arquitetura do modelo ou usar técnicas especiais (por exemplo, compressão de contexto, janela deslizante, mecanismos recorrentes).

Assim, o comprimento do contexto é um compromisso entre a capacidade de considerar mais informações e as limitações de desempenho.