¿Qué es la longitud del contexto y por qué es difícil ampliarla?

La longitud del contexto (longitud del contexto) es la cantidad máxima de tokens (palabras o partes de palabras) que un modelo de gran lenguaje (LLM) puede tener en cuenta simultáneamente al generar texto o analizar.

La limitación de la longitud del contexto está relacionada con la arquitectura de los transformadores, donde la complejidad computacional de la atención crece cuadráticamente con la longitud de la entrada. Esto conduce a:

• Altos costos de memoria y tiempo al aumentar la longitud del contexto.
• Limitaciones en los recursos de hardware.

Ampliar la longitud del contexto es difícil porque:

• Requiere mucho más recursos computacionales.
• Es necesario cambiar la arquitectura del modelo o usar técnicas especiales (por ejemplo, compresión del contexto, ventana deslizante, mecanismos recurrentes).

Por lo tanto, la longitud del contexto es un compromiso entre la capacidad de considerar más información y las limitaciones de rendimiento.