Kako se računaju metrike MAP i MRR u zadacima rangiranja?

MAP (Srednja Prosečna Preciznost) i MRR (Srednji Recipročni Rang) su metričke mere kvaliteta u zadacima rangiranja, koje procenjuju koliko dobro model poređa relevantne elemente.

• MAP je prosečna vrednost Srednje Preciznosti za sve upite. Srednja Preciznost za jedan upit je prosečna vrednost tačnosti na pozicijama gde se nalaze relevantni dokumenti.

Formula AP za jedan upit:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

gde:

• (N) je broj vraćenih dokumenata,
• (R) je broj relevantnih dokumenata,
• (P(k)) je tačnost na poziciji (k),
• (rel(k)) je indikator relevantnosti dokumenta na poziciji (k) (1 ako je relevantan, 0 ako nije).

MAP je prosečna vrednost AP za sve upite.

• MRR je prosečna vrednost RR (recipročnog ranga) prvog relevantnog dokumenta za sve upite.

Formula za jedan upit:

[ RR = \frac{1}{rank} ]

gde je (rank) pozicija prvog relevantnog dokumenta na listi.

MRR je prosečna vrednost RR za sve upite.

Primer: ako su za tri upita prvi relevantni dokumenti na pozicijama 1, 3 i 2, onda

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]