Kas ir NDCG un kā tas tiek aprēķināts?

NDCG (Normalizētais Diskontētais Kumulatīvais Ieguvums) ir novērtējuma mērs, ko bieži izmanto meklētājprogrammās un Learning to Rank uzdevumos.

Tas mēra, cik nozīmīgi ir dokumenti, kas atrodas augšējās pozīcijās rezultātu sarakstā, ņemot vērā, ka augstākas pozīcijas ir svarīgākas.

Aprēķins sastāv no vairākiem soļiem:

1. DCG (Diskontētais Kumulatīvais Ieguvums):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   kur (rel_i) ir dokumenta nozīmīgums pozīcijā (i), un (p) ir pozīcija, līdz kurai veicam aprēķinu.

2. IDCG (Ideālais DCG): maksimālais iespējamais DCG, ja dokumenti ir sakārtoti pēc nozīmīguma dilstošā secībā.

3. NDCG: normalizācija DCG attiecībā pret IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

NDCG vērtība svārstās no 0 līdz 1, kur 1 nozīmē ideālu reitingu.

Piemērs: ja mums ir dokumentu nozīmīgumi [3, 2, 3, 0, 1], vispirms aprēķinām DCG pēc formulas, tad IDCG priekš sakārtotā saraksta [3, 3, 2, 1, 0], un dalām DCG ar IDCG.