Что такое DCG и зачем нужна нормализация?

DCG (Discounted Cumulative Gain) — это метрика оценки качества ранжирования в информационном поиске и системах рекомендаций. Она измеряет полезность результатов поиска с учётом позиции: релевантные документы, расположенные выше в списке, дают больший вклад.

Формула DCG учитывает релевантность каждого результата и снижает её влияние с ростом позиции, обычно с помощью логарифмического дисконтирования:

DCG_p = 	extstyle
elax 	ext{rel}_1 + 	extstyle
el_2 / 	ext{log}_2(2) + 	extstyle
el_3 / 	ext{log}_2(3) + ... + 	extstyle
el_p / 	ext{log}_2(p)

Нормализация нужна, чтобы сравнивать результаты разных запросов с разным числом релевантных документов. Для этого вычисляют IDCG (Ideal DCG) — максимальный возможный DCG для данного набора релевантных документов, отсортированных по убыванию релевантности. Затем нормализуют DCG на IDCG:

NDCG_p = DCG_p / IDCG_p

Это позволяет получить значение в диапазоне [0,1], где 1 — идеальное ранжирование. Нормализация важна для объективного сравнения качества ранжирования между разными запросами и системами.