O que é o mean reciprocal rank (MRR) e onde é utilizado na avaliação de pesquisa?

Reciprocal Rank Médio (MRR) é uma métrica de avaliação da qualidade de sistemas de busca e recomendação. Ela mede a média do valor recíproco da posição do primeiro resultado relevante na lista de resultados para um conjunto de consultas.

Fórmula:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

onde (Q) é o número de consultas, e (rank_i) é a posição do primeiro resultado relevante para a i-ésima consulta.

O MRR é usado em tarefas de busca de informação, incluindo avaliação de modelos baseados em NLP e embeddings, para entender quão rapidamente o usuário obtém uma resposta relevante. Quanto maior o MRR (mais próximo de 1), melhor a qualidade da busca.