Ako sa počítajú metriky MAP a MRR v úlohách zoradenia?

MAP (Priemerná Priemerná Presnosť) a MRR (Priemerný Recipročný Rád) sú metriky kvality v úlohách zoradenia, ktoré hodnotia, ako dobre model zoradí relevantné prvky.

• MAP je priemerná hodnota Priemernej Presnosti pre všetky dotazy. Priemerná Presnosť pre jeden dotaz je priemerná hodnota presnosti na pozíciách, kde sa vyskytujú relevantné dokumenty.

Vzorec AP pre jeden dotaz:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

kde:

• (N) je počet vrátených dokumentov,
• (R) je počet relevantných dokumentov,
• (P(k)) je presnosť na pozícii (k),
• (rel(k)) je indikátor relevantnosti dokumentu na pozícii (k) (1 ak relevantný, 0 ak nie).

MAP je priemerná hodnota AP pre všetky dotazy.

• MRR je priemerná hodnota RR (recipročného radu) prvého relevantného dokumentu pre všetky dotazy.

Vzorec pre jeden dotaz:

[ RR = \frac{1}{rank} ]

kde je (rank) pozícia prvého relevantného dokumentu v zozname.

MRR je priemerná hodnota RR pre všetky dotazy.

Príklad: ak pre tri dotazy sú prvé relevantné dokumenty na pozíciách 1, 3 a 2, potom

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]