Mi az a mean reciprocal rank (MRR), és hol használják a keresés értékelésében?

Az Átlagos Fordított Rang (MRR) egy mérőszám a keresési és ajánlórendszerek minőségének értékelésére. Megméri az első releváns eredmény pozíciójának reciprokus értékének átlagát a találati listán egy kéréskészlet esetén.

Képlet:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

ahol (Q) a kérdések száma, és (rank_i) az első releváns eredmény pozíciója az i-edik kérésnél.

Az MRR-t információkeresési feladatokban használják, beleértve a NLP és beágyazások alapú modellek értékelését, hogy megértsék, milyen gyorsan kapja meg a felhasználó a releváns választ. Minél magasabb az MRR (közelebb 1-hez), annál jobb a keresés minősége.