Čo je normalizácia dĺžky dokumentu?

Normalizácia dĺžky dokumentu je technika v informačnom vyhľadávaní, ktorá upravuje vplyv dĺžky dokumentu na hodnotenie jeho relevantnosti. V systémoch radenia dokumentov môžu dlhšie texty mať viac zhôd s dopytom len kvôli objemu, čo môže skresliť výsledky.

Normalizácia dĺžky dokumentu umožňuje tento efekt znížiť tým, že váhu dokumentu privedie na porovnateľnú škálu bez ohľadu na jeho veľkosť. Napríklad v modeli BM25 sa používa parameter, ktorý zohľadňuje dĺžku dokumentu vzhľadom na priemernú dĺžku kolekcie, aby vyvážil príspevok dlhých a krátkych dokumentov.

Týmto spôsobom normalizácia dĺžky dokumentu pomáha urobiť radenie spravodlivejším a presnejším, čím zlepšuje kvalitu vyhľadávania.