Jak se počítají metriky MAP a MRR v úlohách řazení?

MAP (Průměrná průměrná přesnost) a MRR (Průměrný recípročný rang) jsou metriky kvality v úlohách řazení, které hodnotí, jak dobře model řadí relevantní prvky.

• MAP je průměrná hodnota průměrné přesnosti pro všechny dotazy. Průměrná přesnost pro jeden dotaz je průměrná hodnota přesnosti na pozicích, kde se vyskytují relevantní dokumenty.

Vzorec AP pro jeden dotaz:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

kde:

• (N) je počet vrácených dokumentů,
• (R) je počet relevantních dokumentů,
• (P(k)) je přesnost na pozici (k),
• (rel(k)) je indikátor relevance dokumentu na pozici (k) (1 pokud relevantní, 0 jinak).

MAP je průměr AP přes všechny dotazy.

• MRR je průměrná hodnota RR (recipročního řádu) prvního relevantního dokumentu přes všechny dotazy.

Vzorec pro jeden dotaz:

[ RR = \frac{1}{rank} ]

kde (rank) je pozice prvního relevantního dokumentu v seznamu.

MRR je průměr RR přes všechny dotazy.

Příklad: pokud jsou pro tři dotazy první relevantní dokumenty na pozicích 1, 3 a 2, pak

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]