Какво е DCG и защо е необходима нормализацията?
sobes.tech AI
Отговор от AI
DCG (Намалено кумулативно печалба) е метрика за оценка на качеството на класирането в информационно търсене и системи за препоръки. Тя измерва полезността на резултатите от търсенето, като взема предвид позицията: релевантните документи, разположени по-горе в списъка, допринасят повече.
Формулата на DCG взема предвид релевантността на всеки резултат и намалява нейното влияние с увеличаване на позицията, обикновено чрез логаритмично дисконтиране:
DCG_p = extstyle
elax ext{rel}_1 + extstyle
el_2 / ext{log}_2(2) + extstyle
el_3 / ext{log}_2(3) + ... + extstyle
el_p / ext{log}_2(p)
Нормализацията е необходима, за да се сравняват резултатите от различни заявки с различен брой релевантни документи. За тази цел се изчислява IDCG (Идеален DCG) — максималният възможен DCG за този набор от релевантни документи, сортирани по намаляваща релевантност. След това DCG се нормализира спрямо IDCG:
NDCG_p = DCG_p / IDCG_p
Това позволява да се получи стойност в диапазона [0,1], където 1 означава перфектно класиране. Нормализацията е важна за обективното сравнение на качеството на класиране между различни заявки и системи.