Was ist der durchschnittliche reziproke Rang (MRR) und wo wird er bei der Bewertung von Suchanfragen verwendet?

Der Durchschnittliche Reciprocal Rank (MRR) ist eine Metrik zur Bewertung der Qualität von Such- und Empfehlungssystemen. Sie misst den durchschnittlichen Kehrwert der Position des ersten relevanten Ergebnisses in der Ergebnisliste für eine Reihe von Anfragen.

Formel:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

wobei (Q) die Anzahl der Anfragen ist und (rank_i) die Position des ersten relevanten Ergebnisses für die i-te Anfrage.

Der MRR wird bei Aufgaben der Informationssuche verwendet, einschließlich der Bewertung von Modellen auf Basis von NLP und Embeddings, um zu verstehen, wie schnell der Nutzer eine relevante Antwort erhält. Je höher der MRR (näher bei 1), desto besser ist die Qualität der Suche.