Co je to průměrné reciproké pořadí (MRR) a kde se používá při hodnocení vyhledávání?

Průměrný převrácený rank (MRR) je metrika pro hodnocení kvality vyhledávacích a doporučovacích systémů. Měří průměrnou hodnotu převrácené pozice prvního relevantního výsledku v seznamu výsledků pro sadu dotazů.

Vzorec:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

kde (Q) je počet dotazů a (rank_i) je pozice prvního relevantního výsledku pro i-tý dotaz.

MRR se používá v úlohách vyhledávání informací, včetně hodnocení modelů založených na NLP a vnořeních, aby se pochopilo, jak rychle uživatel obdrží relevantní odpověď. Čím vyšší je MRR (blíže k 1), tím lepší je kvalita vyhledávání.