Что такое NDCG и как он считается?

NDCG (Normalized Discounted Cumulative Gain) — это метрика качества ранжирования, часто используемая в поисковых системах и задачах Learning to Rank.

Она измеряет, насколько релевантные документы расположены в верхних позициях списка результатов, учитывая, что более высокие позиции важнее.

Расчет состоит из нескольких шагов:

1. DCG (Discounted Cumulative Gain):

   [ DCG_p = \sum_{i=1}^p \frac{2^{rel_i} - 1}{\log_2(i + 1)} ]

   где (rel_i) — релевантность документа на позиции (i), (p) — позиция, до которой считаем.

2. IDCG (Ideal DCG): максимальный возможный DCG, если документы отсортированы по убыванию релевантности.

3. NDCG: нормировка DCG на IDCG:

   [ NDCG_p = \frac{DCG_p}{IDCG_p} ]

Значение NDCG варьируется от 0 до 1, где 1 — идеальное ранжирование.

Пример: если у нас есть релевантности документов [3, 2, 3, 0, 1], то сначала считаем DCG по формуле, затем IDCG для отсортированного списка [3,3,2,1,0], и делим DCG на IDCG.