Sıralama görevlerinde MAP ve MRR metrikleri nasıl hesaplanır?

MAP (Ortalama Ortalama Doğruluk) ve MRR (Ortalama Çift Ters Rütbe) sıralama görevlerinde kalite ölçütleridir ve modelin ilgili öğeleri ne kadar iyi sıraladığını değerlendirir.

• MAP tüm sorgular için Ortalama Doğruluk değeridir. Bir sorgu için Ortalama Doğruluk, ilgili belgelerin bulunduğu pozisyonlardaki doğrulukların ortalamasıdır.

Bir sorgu için AP formülü:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

burada:

• (N) döndürülen belge sayısıdır,
• (R) ilgili belge sayısıdır,
• (P(k)) pozisyondaki doğruluk,( rel(k)) ise pozisyondaki belgenin ilgililik göstergesidir (ilgili ise 1, değilse 0).

MAP, tüm sorgular için AP'nin ortalamasıdır.

• MRR ise tüm sorgular için ilk ilgili belgenin ters sıralama değerlerinin ortalamasıdır.

Bir sorgu için formül:

[ RR = \frac{1}{rank} ]

burada (rank), ilk ilgili belgenin pozisyonudur.

MRR, tüm sorgular için RR'nin ortalamasıdır.

Örnek: Üç sorgu için ilk ilgili belgeler sırasıyla 1, 3 ve 2. pozisyonda ise,

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]