¿Qué es el aprendizaje en contexto y por qué funciona?

El aprendizaje en contexto es la capacidad de los grandes modelos de lenguaje (LLM) para aprender a partir de ejemplos presentados en la misma consulta, sin necesidad de actualizar los pesos del modelo. Es decir, el modelo recibe varios ejemplos de la tarea directamente en el texto de la consulta y, en base a ellos, genera una respuesta para un nuevo caso.

Por qué funciona:

• El modelo ha sido entrenado con una gran cantidad de textos y ejemplos, lo que le permite reconocer patrones y relaciones entre los datos de entrada y las respuestas.
• Al proporcionar ejemplos en el contexto, el modelo 'entiende' qué tarea debe resolver y adapta su comportamiento en consecuencia.
• Esto es similar a la programación condicional: el modelo usa el contexto como una instrucción.

Ejemplo: si en la consulta se dan varias parejas de "pregunta — respuesta", el modelo continuará la secuencia, respondiendo a una nueva pregunta en el mismo estilo.

De esta manera, el aprendizaje en contexto permite aprovechar el poder de los LLM sin entrenamiento adicional, simplemente cambiando los datos de entrada.