O que é NDCG e como é calculado?

NDCG (Ganhos de Desconto Cumulativo Normalizado) é uma métrica de qualidade de classificação, frequentemente usada em motores de busca e tarefas de Learning to Rank.

Ela mede o quão relevantes estão os documentos nas posições superiores da lista de resultados, considerando que posições mais altas são mais importantes.

O cálculo consiste em várias etapas:

1. DCG (Ganhos de Desconto Cumulativo):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   onde (rel_i) é a relevância do documento na posição (i), (p) é a posição até a qual calculamos.

2. IDCG (DCG Ideal): o DCG máximo possível se os documentos estiverem ordenados por relevância decrescente.

3. NDCG: normalização do DCG pelo IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

O valor do NDCG varia de 0 a 1, onde 1 indica uma classificação ideal.

Exemplo: se temos relevâncias de documentos [3, 2, 3, 0, 1], primeiro calculamos o DCG usando a fórmula, depois o IDCG para a lista ordenada [3, 3, 2, 1, 0], e dividimos o DCG pelo IDCG.