Qu'est-ce que le NDCG et comment est-il calculé?

NDCG (Gain de Discount Cumulatif Normalisé) est une métrique de qualité de classement, souvent utilisée dans les moteurs de recherche et les tâches Learning to Rank.

Elle mesure à quel point les documents pertinents sont placés en haut de la liste de résultats, en tenant compte du fait que les positions plus élevées sont plus importantes.

Le calcul se fait en plusieurs étapes:

1. DCG (Gain de Discount Cumulatif):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   où (rel_i) est la pertinence du document à la position (i), (p) est la position jusqu'à laquelle on calcule.

2. IDCG (DCG Idéal): le DCG maximal possible si les documents sont triés par pertinence décroissante.

3. NDCG: normalisation du DCG par l'IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

La valeur de NDCG varie de 0 à 1, où 1 indique un classement parfait.

Exemple : si nous avons des pertinences de documents [3, 2, 3, 0, 1], on calcule d'abord le DCG avec la formule, puis l'IDCG pour la liste triée [3, 3, 2, 1, 0], et on divise le DCG par l'IDCG.