Mis on BM25 ja millised on parameetrid (k1, b)?

BM25 (Parim Sobivus 25) — see on populaarne järjestusfunktsioon teabeotsingus, mis põhineb tõenäosuslikul mudelil. See hindab dokumendi asjakohasust päringule, võttes arvesse terminite sagedust ja dokumendi pikkust.

Peamised parameetrid:

• k1 — koefitsient, mis reguleerib termini sageduse mõju küllastumist. Mida kõrgem on k1, seda tugevam on termini sageduse kasv, kuid kahanenud tagastusega.
• b — dokumendi pikkuse normaliseerimise parameeter. Väärtus 0 kuni 1, kus 0 tähendab normaliseerimise puudumist ja 1 täielikku normaliseerimist dokumendi pikkuse järgi.

BM25 valem võtab arvesse termini sagedust dokumendis, vastupidist termini sagedust kogumikus ning dokumendi pikkust, et tasakaalustada nende tegurite mõju lõplikule skoorile.

Näide kasutamisest otsingusüsteemis: BM25 aitab määrata, millised dokumendid on kasutaja päringuga kõige asjakohasemad, arvestades, et sagedased terminid dokumendis on olulisemad, kuid liiga pikad dokumendid ei saa ebaõiglast eeliseid.