Como são calculadas as métricas MAP e MRR em tarefas de classificação?

MAP (Precisão Média Média) e MRR (Rango Recíproco Médio) são métricas de qualidade em tarefas de classificação, que avaliam o quão bem o modelo ordena os elementos relevantes.

• MAP é o valor médio da Precisão Média para todas as consultas. A Precisão Média para uma consulta é a média da precisão nas posições onde aparecem documentos relevantes.

Fórmula do AP para uma consulta:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

onde:

• (N) é o número de documentos devolvidos,
• (R) é o número de documentos relevantes,
• (P(k)) é a precisão na posição (k),
• (rel(k)) é o indicador de relevância do documento na posição (k) (1 se relevante, 0 caso contrário).

MAP é a média do AP para todas as consultas.

• MRR é o valor médio do rank recíproco do primeiro documento relevante para todas as consultas.

Fórmula para uma consulta:

[ RR = \frac{1}{rank} ]

onde (rank) é a posição do primeiro documento relevante na lista.

MRR é a média de RR para todas as consultas.

Exemplo: se para três consultas os primeiros documentos relevantes estão nas posições 1, 3 e 2, então

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]