Was ist NDCG und wie wird es berechnet?

NDCG (Normalisierte Discounted Cumulative Gain) ist eine Qualitätsmetrik für Rankings, die häufig in Suchmaschinen und Learning to Rank-Aufgaben verwendet wird.

Sie misst, wie relevant die Dokumente in den oberen Positionen der Ergebnisliste sind, wobei höhere Positionen wichtiger sind.

Die Berechnung erfolgt in mehreren Schritten:

1. DCG (Discounted Cumulative Gain):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   wobei (rel_i) die Relevanz des Dokuments an Position (i) ist, (p) die Position bis zu der gerechnet wird.

2. IDCG (Idealer DCG): der maximal mögliche DCG, wenn die Dokumente nach Relevanz absteigend sortiert sind.

3. NDCG: Normierung des DCG am IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

Der NDCG-Wert liegt zwischen 0 und 1, wobei 1 eine perfekte Rangordnung bedeutet.

Beispiel: Wenn die Relevanzen der Dokumente [3, 2, 3, 0, 1] sind, berechnen wir zuerst den DCG mit der Formel, dann den IDCG für die sortierte Liste [3, 3, 2, 1, 0], und teilen den DCG durch den IDCG.