O que é aprendizagem em contexto e por que ela funciona?

A aprendizagem em contexto é a capacidade de grandes modelos de linguagem (LLM) de aprender a partir de exemplos apresentados na própria consulta, sem atualização adicional dos pesos do modelo. Ou seja, o modelo recebe vários exemplos da tarefa diretamente no texto da consulta e, com base neles, gera uma resposta para um novo caso.

Por que isso funciona:

• O modelo foi treinado com uma enorme quantidade de textos e exemplos, o que lhe permite reconhecer padrões e relações entre os dados de entrada e as respostas.
• Ao fornecer exemplos no contexto, o modelo 'entende' qual tarefa deve resolver e adapta seu comportamento de acordo.
• Isso é semelhante à programação condicional: o modelo usa o contexto como uma instrução.

Exemplo: se na consulta forem dadas várias pares de "pergunta — resposta", o modelo continuará a sequência, respondendo a uma nova pergunta no mesmo estilo.

Assim, a aprendizagem em contexto permite usar o poder dos LLMs sem treinamento adicional, apenas mudando os dados de entrada.