Kaip skaičiuojamos metrikos MAP ir MRR reitingavimo užduotyse?

MAP (Vidutinė vidutinė tikslumas) ir MRR (Vidutinis atvirkštinis rangas) yra kokybės matavimo priemonės reitingavimo užduotyse, kurios vertina, kaip gerai modelis išrikiuoja svarbius elementus.

• MAP yra visų užklausų vidutinė vidutinė tikslumas. Vienos užklausos vidutinė tikslumas yra tikslumo vidurkis pozicijose, kuriose yra svarbūs dokumentai.

AP formulė vienai užklausai:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

kur:

• (N) yra grąžintų dokumentų skaičius,
• (R) yra svarbių dokumentų skaičius,
• (P(k)) yra tikslumas pozicijoje (k),
• (rel(k)) yra dokumento svarbos indikatorius pozicijoje (k) (1 jei svarbus, 0 jei ne).

MAP yra visų užklausų AP vidurkis.

• MRR yra pirmo svarbaus dokumento atvirkštinio rango vidurkis visų užklausų.

Formulė vienai užklausai:

[ RR = \frac{1}{rank} ]

kur:

• (rank) yra pirmo svarbaus dokumento pozicija sąraše.

MRR yra RR vidurkis visų užklausų.

Pavyzdys: jei trijų užklausų pirmieji svarbūs dokumentai yra pozicijose 1, 3 ir 2, tada:

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]