Co je normalizace délky dokumentu?

Normalizace délky dokumentu je technika v oblasti vyhledávání informací, která upravuje vliv délky dokumentu na hodnocení jeho relevance. V systémech řazení dokumentů mohou delší texty mít více shod s dotazem pouze kvůli objemu, což může zkreslovat výsledky.

Normalizace délky dokumentu umožňuje tento efekt snížit tím, že váhu dokumentu přenese na srovnatelnou škálu bez ohledu na jeho velikost. Například v modelu BM25 se používá parametr, který zohledňuje délku dokumentu vzhledem k průměrné délce kolekce, aby vyvážil přínos dlouhých a krátkých dokumentů.

Tímto způsobem normalizace délky dokumentu pomáhá učinit řazení spravedlivějším a přesnějším, čímž zlepšuje kvalitu vyhledávání.