Cos'è il mean reciprocal rank (MRR) e dove viene utilizzato nella valutazione delle ricerche?

Il Reciprocal Rank Medio (MRR) è una metrica di valutazione della qualità dei sistemi di ricerca e raccomandazione. Misura la media del reciproco della posizione del primo risultato rilevante nella lista dei risultati per un insieme di query.

Formula:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

dove (Q) è il numero di query, e (rank_i) è la posizione del primo risultato rilevante per la i-esima query.

L'MRR viene utilizzato nei compiti di ricerca di informazioni, inclusa la valutazione di modelli basati su NLP e embedding, per capire quanto velocemente l'utente ottiene una risposta rilevante. Più alto è l'MRR (più vicino a 1), migliore è la qualità della ricerca.