Wie werden die Metriken MAP und MRR bei Rangordnungsaufgaben berechnet?

MAP (Mittlere Durchschnittliche Präzision) und MRR (Mittlere Rekiprokrang) sind Qualitätsmetriken in Ranking-Aufgaben, die bewerten, wie gut das Modell relevante Elemente anordnet.

• MAP ist der durchschnittliche Wert der mittleren Präzision für alle Anfragen. Die mittlere Präzision für eine Anfrage ist der Durchschnitt der Genauigkeit an den Positionen, an denen relevante Dokumente erscheinen.

Formel für AP bei einer Anfrage:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

wobei:

• (N) die Anzahl der zurückgegebenen Dokumente ist,
• (R) die Anzahl der relevanten Dokumente ist,
• (P(k)) die Genauigkeit an Position (k) ist,
• (rel(k)) der Relevanzindikator des Dokuments an Position (k) (1, wenn relevant, 0 sonst).

MAP ist der Durchschnitt von AP über alle Anfragen.

• MRR ist der durchschnittliche Wert des reziproken Rangs des ersten relevanten Dokuments über alle Anfragen.

Formel für eine Anfrage:

[ RR = \frac{1}{rank} ]

wobei (rank) die Position des ersten relevanten Dokuments in der Liste ist.

MRR ist der Durchschnitt von RR über alle Anfragen.

Beispiel: Wenn für drei Anfragen die ersten relevanten Dokumente an den Positionen 1, 3 und 2 sind, dann

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]