Если нет эталонных ответов, есть только документы и контекст — как оценить систему и откуда взять эталонный ответ?

Если эталонных ответов нет, а есть только документы и контекст, оценка системы и создание эталонных ответов требует подхода с использованием экспертного знания и автоматизации:

• Создание эталонных ответов:

  • Используйте экспертов в предметной области для ручного создания ответов на выборке вопросов, опираясь на документы.
  • Примените методы аннотирования, где несколько экспертов дают ответы, затем объедините их для повышения качества.
  • Можно использовать полуавтоматические методы: например, сгенерировать ответы с помощью модели, а затем отредактировать их экспертами.

• Оценка системы:

  • Используйте метрики качества, такие как точность, полнота, F1, если задача классификации или извлечения информации.
  • Для генеративных моделей — метрики BLEU, ROUGE, METEOR, но они не всегда отражают качество.
  • Проведите пользовательское тестирование, где реальные пользователи оценивают релевантность и полезность ответов.

• Альтернативные подходы:

  • Используйте кросс-валидацию на размеченных данных.
  • Применяйте методы активного обучения, чтобы постепенно улучшать эталонные ответы.

Таким образом, эталонные ответы берутся из экспертных аннотаций или полуавтоматически с последующей проверкой, а оценка строится на метриках и пользовательском фидбэке.