Czym jest DCG i dlaczego jest potrzebna normalizacja?
sobes.tech AI
Odpowiedź od AI
DCG (Skumulowany zysk zdyskontowany) to miara oceny jakości rankingu w wyszukiwaniu informacji i systemach rekomendacyjnych. Mierzy użyteczność wyników wyszukiwania z uwzględnieniem pozycji: istotne dokumenty umieszczone wyżej w liście mają większy wkład.
Formuła DCG uwzględnia istotność każdego wyniku i zmniejsza jej wpływ wraz ze wzrostem pozycji, zazwyczaj za pomocą logarytmicznego dyskontowania:
DCG_p = extstyle
elax ext{rel}_1 + extstyle
el_2 / ext{log}_2(2) + extstyle
el_3 / ext{log}_2(3) + ... + extstyle
el_p / ext{log}_2(p)
Normalizacja jest konieczna, aby porównywać wyniki różnych zapytań z różną liczbą dokumentów istotnych. W tym celu oblicza się IDCG (Idealne DCG) — maksymalny możliwy DCG dla tego zestawu dokumentów istotnych posortowanych malejąco według istotności. Następnie normalizuje się DCG względem IDCG:
NDCG_p = DCG_p / IDCG_p
Pozwala to uzyskać wartość w zakresie [0,1], gdzie 1 oznacza idealny ranking. Normalizacja jest ważna dla obiektywnego porównania jakości rankingu między różnymi zapytaniami i systemami.