Jak oblicza się metryki MAP i MRR w zadaniach rankingowych?

MAP (Średnia Średnia Precyzja) i MRR (Średni Ranga Odwrotny) to metryki jakości w zadaniach rankingowych, które oceniają, jak dobrze model sortuje elementy relewantne.

• MAP to średnia wartość Średniej Precyzji dla wszystkich zapytań. Średnia Precyzja dla pojedynczego zapytania to średnia precyzji na pozycjach, na których pojawiają się relewantne dokumenty.

Wzór AP dla pojedynczego zapytania:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

gdzie:

• (N) to liczba zwróconych dokumentów,
• (R) to liczba relewantnych dokumentów,
• (P(k)) to precyzja na pozycji (k),
• (rel(k)) to wskaźnik relewancji dokumentu na pozycji (k) (1 jeśli relewantny, 0 w przeciwnym razie).

MAP to średnia AP dla wszystkich zapytań.

• MRR to średnia wartość RR (odwrotnego rangu) pierwszego relewantnego dokumentu dla wszystkich zapytań.

Wzór dla pojedynczego zapytania:

[ RR = \frac{1}{rank} ]

gdzie (rank) to pozycja pierwszego relewantnego dokumentu na liście.

MRR to średnia RR dla wszystkich zapytań.

Przykład: jeśli dla trzech zapytań pierwsze relewantne dokumenty znajdują się na pozycjach 1, 3 i 2, to

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]