O que é avaliação de contexto longo? O que é agulha no palheiro?

Avaliação de contexto longo — é um processo de avaliação ou teste de modelos com contexto longo, como grandes modelos de linguagem (LLM), que são capazes de processar e considerar grandes volumes de texto (milhares e dezenas de milhares de tokens) ao gerar respostas. Essa avaliação verifica quão eficazmente o modelo pode reter e usar informações de sequências longas, o que é importante para tarefas que exigem compreensão do contexto ao longo de um texto extenso.

Needle-in-haystack ("agulha no palheiro") — é uma metáfora para tarefas onde é preciso encontrar informações muito raras, pouco visíveis ou específicas em um volume enorme de dados. No contexto de LLM e avaliação de contexto longo, isso pode significar testar a capacidade do modelo de detectar e usar pequenos fragmentos de informação, mas importantes, escondidos em textos longos, o que é uma tarefa difícil devido ao grande volume de "ruído" ao redor dos dados necessários.