Hoe worden de metrics MAP en MRR berekend bij rangschikkingsproblemen?

MAP (Gemiddelde Gemiddelde Precisie) en MRR (Gemiddelde Reciproque Rang) zijn kwaliteitsmaten in rangordetaken, die beoordelen hoe goed het model relevante elementen rangschikt.

• MAP is de gemiddelde waarde van de Gemiddelde Precisie voor alle zoekopdrachten. De Gemiddelde Precisie voor één zoekopdracht is de gemiddelde waarde van de precisie op de posities waar relevante documenten voorkomen.

Formule voor AP voor één zoekopdracht:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

waar:

• (N) het aantal geretourneerde documenten is,
• (R) het aantal relevante documenten is,
• (P(k)) de precisie op positie (k),
• (rel(k)) de relevantie-indicator van het document op positie (k) (1 als relevant, 0 anders).

MAP is het gemiddelde van AP over alle zoekopdrachten.

• MRR is de gemiddelde waarde van RR (reciproque rang) van het eerste relevante document over alle zoekopdrachten.

Formule voor één zoekopdracht:

[ RR = \frac{1}{rank} ]

waar (rank) de positie van het eerste relevante document in de lijst is.

MRR is het gemiddelde van RR over alle zoekopdrachten.

Voorbeeld: als voor drie zoekopdrachten de eerste relevante documenten zich bevinden op posities 1, 3 en 2, dan

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]