Kā tiek aprēķinātas metrikas MAP un MRR rangu uzdevumos?

MAP (Vidējā Vidējā Precizitāte) un MRR (Vidējais Atpakaļejošais Rangs) ir kvalitātes rādītāji reitinga uzdevumos, kas novērtē, cik labi modelis sakārto relevanto elementu.

• MAP ir visu pieprasījumu vidējā vidējā precizitāte. Viena pieprasījuma vidējā precizitāte ir precizitātes vidējā vērtība pozīcijās, kurās atrodas relevanti dokumenti.

AP formula vienam pieprasījumam:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

kur:

• (N) ir atgriezto dokumentu skaits,
• (R) ir relevanto dokumentu skaits,
• (P(k)) ir precizitāte pozīcijā (k),
• (rel(k)) ir dokumenta relevances indikators pozīcijā (k) (1 ja relevants, 0 ja nē).

MAP ir visu pieprasījumu AP vidējā vērtība.

• MRR ir pirmā relevanta dokumenta atpakaļejošā ranga vidējā vērtība visiem pieprasījumiem.

Formula vienam pieprasījumam:

[ RR = \frac{1}{rank} ]

kur:

• (rank) ir pirmā relevanta dokumenta pozīcija sarakstā.

MRR ir RR vidējā vērtība visiem pieprasījumiem.

Piemērs: ja trīs pieprasījumiem pirmie relevanti dokumenti atrodas pozīcijās 1, 3 un 2, tad:

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]