Hogyan számítják ki a MAP és MRR metrikákat rangsorolási feladatokban?

MAP (Átlagolt Átlagos Pontosság) és MRR (Átlagos Fordított Rangsor) minőségi mérőszámok rangsorolási feladatokban, amelyek értékelik, hogy a modell milyen jól rendezi a releváns elemeket.

• MAP az összes lekérdezésre vonatkozó Átlagolt Pontosság átlagértéke. Egy lekérdezés esetén az Átlagolt Pontosság az azon pozíciók pontosságának átlaga, ahol releváns dokumentumok találhatók.

AP képlete egy lekérdezéshez:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

ahol:

• (N) a visszaküldött dokumentumok száma,
• (R) a releváns dokumentumok száma,
• (P(k)) a pontosság a (k) pozíciónál,
• (rel(k)) a relevancia mutatója a (k) pozíciónál (1 ha releváns, 0 ha nem).

MAP az összes lekérdezésre vonatkozó AP átlag.

• MRR az első releváns dokumentum fordított rangsorának átlagértéke az összes lekérdezésre.

Egy lekérdezés képlete:

[ RR = \frac{1}{rank} ]

ahol (rank) az első releváns dokumentum pozíciója a listán.

Az MRR az RR átlagértéke az összes lekérdezésre.

Példa: ha három lekérdezés esetén az első releváns dokumentumok pozíciói 1, 3 és 2, akkor

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]