Sıralama tapşırıqlarında MAP və MRR metrikləri necə hesablanır?

MAP (Orta Dəqiqəlik Orta Dəyər) və MRR (Orta Tərs Rəqəm) sıralama tapşırıqlarında keyfiyyət ölçüləridir və modelin müvafiq elementləri nə qədər yaxşı sıraladığını qiymətləndirir.

• MAP bütün sorğular üçün Orta Dəqiqəlik Orta Dəyərdir. Bir sorğu üçün Orta Dəqiqəlik, müvafiq sənədlərin yerləşdiyi mövqelərdə dəqiqliyin ortalamasıdır.

AP formulası bir sorğu üçün:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

burada:

• (N) geri qaytarılan sənəd sayı,
• (R) müvafiq sənəd sayı,
• (P(k)) mövqedəki dəqiqlik,
• (rel(k)) isə mövqedəki sənədin müvafiqliyi göstəricisidir (əgər müvafiqdirsə 1, yoxsa 0).

MAP bütün sorğular üçün AP-nin ortalamasıdır.

• MRR isə bütün sorğular üçün ilk müvafiq sənədin tərs sıralama dəyərinin ortalamasıdır.

Bir sorğu üçün formul:

[ RR = \frac{1}{rank} ]

burada (rank) ilk müvafiq sənədin mövqeyidir.

MRR bütün sorğular üçün RR-nin ortalamasıdır.

Misal: üç sorğu üçün ilk müvafiq sənədlər 1, 3 və 2-ci mövqedədirsə, onda

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]