Wat is NDCG en hoe wordt het berekend?

NDCG (Genormaliseerde Discounted Cumulative Gain) is een maat voor de kwaliteit van rangschikkingen, die vaak wordt gebruikt in zoekmachines en Learning to Rank-taken.

Het meet hoe relevant de documenten zijn geplaatst in de hogere posities van de resultatenlijst, waarbij hogere posities belangrijker zijn.

De berekening bestaat uit verschillende stappen:

1. DCG (Gedisconteerde Cumulatieve Winst):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   waarbij (rel_i) de relevantie van het document op positie (i) is, en (p) de positie tot waar we rekenen.

2. IDCG (Ideale DCG): de maximale mogelijke DCG als de documenten gesorteerd zijn op aflopende relevantie.

3. NDCG: normalisatie van DCG door IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

De waarde van NDCG varieert van 0 tot 1, waarbij 1 een perfecte rangschikking aangeeft.

Voorbeeld: als we relevanties hebben [3, 2, 3, 0, 1], berekenen we eerst de DCG met de formule, vervolgens de IDCG voor de gesorteerde lijst [3, 3, 2, 1, 0], en delen we de DCG door de IDCG.