Wat is de mean reciprocal rank (MRR) en waar wordt het gebruikt bij het beoordelen van zoekopdrachten?

Gemiddelde Reciproque Rang (MRR) is een maatstaf voor het beoordelen van de kwaliteit van zoek- en aanbevelingssystemen. Het meet het gemiddelde van de omgekeerde positie van het eerste relevante resultaat in de lijst met resultaten voor een set zoekopdrachten.

Formule:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

waar (Q) het aantal zoekopdrachten is, en (rank_i) de positie van het eerste relevante resultaat voor de i-de zoekopdracht.

MRR wordt gebruikt bij informatiezoektaken, inclusief de evaluatie van modellen gebaseerd op NLP en embeddings, om te begrijpen hoe snel de gebruiker een relevant antwoord krijgt. Hoe hoger de MRR (dichter bij 1), hoe beter de zoekkwaliteit.