Что такое retrieval evaluation на собственном датасете?

Retrieval evaluation на собственном датасете — это процесс оценки качества системы поиска или извлечения информации (например, векторного поиска по embedding'ам) на данных, которые специфичны для вашей задачи или бизнеса.

Основная цель — понять, насколько эффективно система находит релевантные документы или элементы по запросу. Для этого обычно используют метрики, такие как Precision@k, Recall, Mean Average Precision (MAP), Normalized Discounted Cumulative Gain (NDCG).

Пример:

• Собирается набор запросов и для каждого — список релевантных документов (ground truth).
• Запускается retrieval-система, которая возвращает результаты по этим запросам.
• Сравниваются результаты с эталоном, вычисляются метрики.

Это помогает настроить и улучшить алгоритмы поиска именно под ваши данные, а не полагаться на общие датасеты, которые могут не отражать специфику вашей предметной области.