Hoe evalueer je de kwaliteit van de retriever? Waar haal je een collectie documenten vandaan om de metrics te beoordelen?

Качество ретривала (поискового извлечения) оценивают с помощью метрик, отражающих релевантность найденных документов:

• Precision (точность): доля релевантных документов среди найденных.
• Recall (полнота): доля найденных релевантных документов от всех релевантных.
• F1-score: гармоническое среднее precision и recall.
• MAP (Mean Average Precision), NDCG (Normalized Discounted Cumulative Gain): учитывают ранжирование результатов.

Для оценки нужна коллекция документов с разметкой релевантности (ground truth). Такие коллекции можно взять из:

• Публичных датасетов: например, TREC, Cranfield, MS MARCO.
• Внутренних данных: если есть доступ к историческим запросам и оценкам пользователей.
• Аннотированных вручную: эксперты оценивают релевантность документов по запросам.

Пример: для оценки поисковой системы по новостям можно использовать набор запросов и для каждого — список релевантных статей, после чего вычислить precision и recall для результатов системы.