Что такое mean reciprocal rank (MRR) и где он используется при оценке поиска?

Mean Reciprocal Rank (MRR) — это метрика оценки качества систем поиска и рекомендаций. Она измеряет среднее обратное значение позиции первого релевантного результата в списке выдачи для набора запросов.

Формула:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

где (Q) — количество запросов, (rank_i) — позиция первого релевантного результата для i-го запроса.

MRR используется в задачах информационного поиска, в том числе при оценке моделей на основе NLP и эмбеддингов, чтобы понять, насколько быстро пользователь получает релевантный ответ. Чем выше MRR (ближе к 1), тем лучше качество поиска.