Kas yra BM25 ir kokie yra parametrai (k1, b)?

BM25 (Geriausias Atitikimas 25) — tai populiari reitingo funkcija informacijos paieškoje, pagrįsta tikimybių modeliu. Ji įvertina dokumento aktualumą atitikties klausimui, atsižvelgdama į terminų dažnį ir dokumento ilgį.

Pagrindiniai parametrai:

• k1 — koeficientas, reguliuojantis terminų dažnio poveikio prisotinimą. Kuo didesnis k1, tuo stipriau įvertinama terminų dažnio didėjimas, bet su mažėjančiu grąža.
• b — dokumento ilgio normalizavimo parametras. Reikšmė nuo 0 iki 1, kur 0 reiškia normalizacijos nebuvimą, o 1 — visišką normalizaciją pagal dokumento ilgį.

BM25 formulė atsižvelgia į termino dažnį dokumente, atvirkštinį termino dažnį kolekcijoje ir dokumento ilgį, kad subalansuotų šių veiksnių įtaką galutiniam įvertinimui.

Pavyzdys naudojimo paieškos sistemoje: BM25 padeda nustatyti, kurie dokumentai yra labiausiai aktualūs naudotojo užklausai, atsižvelgiant į tai, kad dažni terminai dokumente yra svarbesni, tačiau per ilgi dokumentai negauna nepagrįstos pranašumo.