Kas yra NDCG ir kaip jis skaičiuojamas?

NDCG (Normalizuotas Diskontuotas Kumulatyvinis Nauda) yra reitingo kokybės matas, dažnai naudojamas paieškos sistemose ir Learning to Rank užduotyse.

Jis matuoja, kaip svarbūs dokumentai yra išdėstyti aukščiausiose rezultatų sąrašo pozicijose, atsižvelgiant į tai, kad aukštesnės pozicijos yra svarbesnės.

Skaičiavimas susideda iš kelių žingsnių:

1. DCG (Diskontuotas Kumulatyvinis Nauda):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   kur (rel_i) yra dokumento svarba pozicijoje (i), o (p) yra skaičiavimui skirta pozicija.

2. IDCG (Idealus DCG): maksimalus galimas DCG, jei dokumentai išrikiuoti pagal svarbą mažėjimo tvarka.

3. NDCG: normalizavimas DCG pagal IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

NDCG reikšmė svyruoja nuo 0 iki 1, kur 1 reiškia tobulą reitingą.

Pavyzdys: jei turime dokumentų svarbą [3, 2, 3, 0, 1], pirmiausia apskaičiuojame DCG pagal formulę, tada IDCG pagal surikiuotą sąrašą [3, 3, 2, 1, 0], ir dalijame DCG iš IDCG.