Sobes.tech
Middle — Senior

Čo je BM25 a aké sú parametre (k1, b)?

sobes.tech AI

Odpoveď od AI

BM25 (Najlepšie zhodovanie 25) — populárna funkcia zoradenia v informačnom vyhľadávaní, založená na pravdepodobnostnom modeli. Hodnotí relevantnosť dokumentu k dopytu s ohľadom na frekvenciu termínov a dĺžku dokumentu.

Hlavné parametre:

  • k1 — koeficient, ktorý riadi nasytenie vplyvu frekvencie termínu v dokumente. Čím vyššie k1, tým silnejšie sa zohľadňuje zvýšenie frekvencie termínu, ale s klesajúcim výnosom.
  • b — parameter normalizácie dĺžky dokumentu. Hodnota od 0 do 1, kde 0 znamená absenciu normalizácie a 1 úplnú normalizáciu podľa dĺžky dokumentu.

Vzorec BM25 zohľadňuje frekvenciu termínu v dokumente, inverznú frekvenciu termínu v kolekcii a dĺžku dokumentu, aby vyvážil vplyv týchto faktorov na konečné skóre.

Príklad použitia v vyhľadávacom systéme: BM25 pomáha určiť, ktoré dokumenty sú najrelevantnejšie pre dopyt používateľa, pričom berie do úvahy, že časté termíny v dokumente sú dôležitejšie, ale príliš dlhé dokumenty nezískavajú neoprávnenú výhodu.