Qu'est-ce que la longueur du contexte et pourquoi est-il difficile de l'étendre ?

La longueur du contexte (longueur du contexte) est le nombre maximal de tokens (mots ou parties de mots) qu’un modèle de langage étendu (LLM) peut prendre en compte simultanément lors de la génération ou de l’analyse de texte.

La limite de la longueur du contexte est liée à l’architecture des transformateurs, où la complexité de calcul de l’attention augmente quadratiquement avec la longueur de l’entrée. Cela entraîne :

• Des coûts élevés en mémoire et en temps lorsque la longueur du contexte augmente.
• Des limitations sur les ressources matérielles.

Étendre la longueur du contexte est difficile parce que :

• Cela nécessite beaucoup plus de ressources computationnelles.
• Il faut modifier l’architecture du modèle ou utiliser des techniques spéciales (par exemple, compression du contexte, fenêtre glissante, mécanismes récurrents).

Ainsi, la longueur du contexte est un compromis entre la capacité à prendre en compte plus d’informations et les limitations de performance.