Kuidas arvutada metrikasid MAP ja MRR reitingu ülesannetes?

MAP (Keskmine Keskmine Täpsus) ja MRR (Keskmine Vastupidine Rühm) on kvaliteedimõõdikud reastamisülesannetes, mis hindavad, kui hästi mudel järjestab olulised elemendid.

• MAP on kõigi päringute keskmine keskmine täpsus. Ühe päringu jaoks on keskmine täpsus see, kui täpne on positsioonidel, kus esinevad olulised dokumendid.

AP valem ühe päringu jaoks:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

kus:

• (N) on tagastatud dokumentide arv,
• (R) on oluliste dokumentide arv,
• (P(k)) on täpsus positsioonil (k),
• (rel(k)) on dokumendi relevantsuse näitaja positsioonil (k) (1 kui relevants, 0 kui mitte).

MAP on kõigi päringute AP keskmine.

• MRR on esimese olulise dokumendi vastupidise rangu keskmine väärtus kõigi päringute kohta.

Ühe päringu valem:

[ RR = \frac{1}{rank} ]

kus:

• (rank) on esimese olulise dokumendi positsioon nimekirjas.

MRR on RR keskmine väärtus kõigi päringute kohta.

Näide: kui kolme päringu puhul on esimesed olulised dokumendid positsioonidel 1, 3 ja 2, siis:

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]