Come vengono calcolate le metriche MAP e MRR nei compiti di ranking?

MAP (Precisione Media Media) e MRR (Rango Reciproco Medio) sono metriche di qualità nelle attività di ranking, che valutano quanto bene il modello ordina gli elementi rilevanti.

• MAP è il valore medio della Precisione Media per tutte le query. La Precisione Media per una query è la media della precisione alle posizioni in cui si trovano documenti rilevanti.

Formula AP per una query:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

dove:

• (N) è il numero di documenti restituiti,
• (R) è il numero di documenti rilevanti,
• (P(k)) è la precisione alla posizione (k),
• (rel(k)) è l'indicatore di rilevanza del documento alla posizione (k) (1 se rilevante, 0 altrimenti).

MAP è la media di AP su tutte le query.

• MRR è il valore medio del rango reciproco del primo documento rilevante per tutte le query.

Formula per una query:

[ RR = \frac{1}{rank} ]

dove (rank) è la posizione del primo documento rilevante nella lista.

MRR è la media di RR su tutte le query.

Esempio: se per tre query i primi documenti rilevanti si trovano alle posizioni 1, 3 e 2, allora

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]