Mi az NDCG és hogyan számítják ki?

Az NDCG (Normalizált Diszkontált Kumulatív Nyereség) egy rangsorolási minőségi mérőszám, amelyet gyakran használnak keresőmotorokban és Learning to Rank feladatokban.

Méri, hogy a releváns dokumentumok mennyire vannak a lista felső pozícióiban, figyelembe véve, hogy a magasabb pozíciók fontosabbak.

A számítás több lépésből áll:

1. DCG (Diszkontált Kumulatív Nyereség):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   ahol (rel_i) a dokumentum relevanciája az (i) pozícióban, és (p) az a pozíció, ameddig számolunk.

2. IDCG (Ideális DCG): a maximális lehetséges DCG, ha a dokumentumokat relevancia szerint csökkenő sorrendbe rendezzük.

3. NDCG: a DCG normalizálása az IDCG-hez:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

Az NDCG értéke 0 és 1 között változik, ahol az 1 tökéletes rangsort jelent.

Példa: ha a dokumentum relevanciái [3, 2, 3, 0, 1], először kiszámítjuk a DCG-t a képlettel, majd az IDCG-t a rendezett listára [3, 3, 2, 1, 0], és elosztjuk a DCG-t az IDCG-vel.