Что такое long-context evaluation? Что такое needle-in-haystack?

Long-context evaluation — это процесс оценки или тестирования моделей с длинным контекстом, например, больших языковых моделей (LLM), которые способны обрабатывать и учитывать большие объемы текста (тысячи и десятки тысяч токенов) при генерации ответов. Такая оценка проверяет, насколько эффективно модель может удерживать и использовать информацию из длинных последовательностей, что важно для задач, требующих понимания контекста на протяжении большого текста.

Needle-in-haystack ("иголка в стоге сена") — это метафора для задач, где нужно найти очень редкую, малозаметную или специфическую информацию в огромном объеме данных. В контексте LLM и long-context evaluation это может означать проверку способности модели обнаруживать и использовать небольшие, но важные фрагменты информации, спрятанные в длинных текстах, что является сложной задачей из-за большого объема "шума" вокруг нужных данных.