Как оценивать качество retrieval в RAG (recall@k, hit@k, MRR)?

В RAG (Retrieval-Augmented Generation) качество retrieval оценивается метриками, которые измеряют, насколько релевантные документы возвращаются моделью из базы знаний:

• Recall@k — доля релевантных документов, которые попали в топ-k результатов. Показывает полноту поиска.

• Hit@k — бинарная метрика, равная 1, если хотя бы один релевантный документ есть в топ-k, иначе 0. Используется для оценки, насколько часто релевантный документ вообще найден.

• MRR (Mean Reciprocal Rank) — среднее значение обратного ранга первого релевантного документа в списке. Чем выше MRR, тем выше релевантные документы расположены ближе к началу.

Пример: если для запроса релевантен документ на позиции 3, то reciprocal rank = 1/3.

Эти метрики помогают понять, насколько эффективно retrieval-компонент RAG находит нужную информацию для генерации ответов.