Kas yra dokumento ilgio normalizavimas?

Dokumento ilgio normalizavimas yra technika informacijos paieškoje, kuri koreguoja dokumento ilgio įtaką jo aktualumo įvertinimui. Dokumentų reitingavimo sistemose ilgesni tekstai gali turėti daugiau atitikimų užklausai tik dėl apimties, kas gali iškraipyti rezultatus.

Dokumento ilgio normalizavimas leidžia sumažinti šį efektą, perkeliant dokumento svorį į palyginamą skalę nepriklausomai nuo jo dydžio. Pavyzdžiui, BM25 modelyje naudojamas parametras, kuris atsižvelgia į dokumento ilgį, lyginant jį su kolekcijos vidutiniu ilgiu, siekiant subalansuoti ilgesnių ir trumpesnių dokumentų indėlį.

Taip, dokumento ilgio normalizavimas padeda padaryti reitingavimą sąžiningesnį ir tikslesnį, gerinant paieškos kokybę.