Mis on NDCG ja kuidas see arvutatakse?

NDCG (Normaliseeritud Diskonteeritud Kumulatiivne Tulu) on reitingu kvaliteedi mõõdik, mida kasutatakse sageli otsingumootorites ja Learning to Rank ülesannetes.

See mõõdab, kui olulised dokumendid on asetatud tulemuste loendi kõrgematele positsioonidele, võttes arvesse, et kõrgemad positsioonid on olulisemad.

Arvutus koosneb mitmest sammust:

1. DCG (Diskonteeritud Kumulatiivne Tulu):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   kus (rel_i) on dokumendi olulisus positsioonil (i), ja (p) on arvutamisele määratud positsioon.

2. IDCG (Ideaalne DCG): maksimaalne võimalik DCG, kui dokumendid on järjestatud relevantsuse järgi kahanevas järjekorras.

3. NDCG: DCG normaliseerimine IDCG suhtes:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

NDCG väärtus varieerub 0 kuni 1, kus 1 tähistab täiuslikku järjestust.

Näide: kui meil on dokumentide relevantsused [3, 2, 3, 0, 1], arvutame esmalt DCG kasutades valemit, seejärel IDCG järjestatud nimekirja jaoks [3, 3, 2, 1, 0], ja jagame DCG IDCG-ga.