Mis on dokumendi pikkuse normaliseerimine?

Dokumendi pikkuse normaliseerimine on tehisintellekti otsingus tehnika, mis korrigeerib dokumendi pikkuse mõju selle asjakohasuse hindamisele. Dokumentide järjestussüsteemides võivad pikemad tekstid omada rohkem vastavusi päringuga lihtsalt mahu tõttu, mis võib tulemusi moonutada.

Dokumendi pikkuse normaliseerimine võimaldab seda mõju vähendada, viies dokumendi kaalu võrdlusalale sõltumata selle suurusest. Näiteks BM25 mudelis kasutatakse parameetrit, mis arvestab dokumendi pikkust kolleksiooni keskmise pikkusega, et tasakaalustada pikkade ja lühikeste dokumentide panust.

Sellisel viisil aitab dokumendi pikkuse normaliseerimine teha järjestamise õiglasemaks ja täpsemaks, parandades otsingukvaliteeti.