Was ist BM25 und welche Parameter (k1, b) gibt es?

BM25 (Best Matching 25) — ist eine beliebte Ranking-Funktion in der Informationssuche, die auf einem probabilistischen Modell basiert. Sie bewertet die Relevanz eines Dokuments für eine Anfrage, indem sie die Termhäufigkeit und die Dokumentenlänge berücksichtigt.

Hauptparameter:

• k1 — Koeffizient, der die Sättigung des Einflusses der Termhäufigkeit im Dokument reguliert. Je höher k1 ist, desto stärker wird die Zunahme der Termhäufigkeit berücksichtigt, jedoch mit abnehmendem Ertrag.
• b — Parameter zur Normalisierung der Dokumentenlänge. Wert von 0 bis 1, wobei 0 keine Normalisierung bedeutet und 1 eine vollständige Normalisierung nach der Dokumentenlänge.

Die BM25-Formel berücksichtigt die Termhäufigkeit im Dokument, die inverse Termhäufigkeit in der Sammlung und die Dokumentenlänge, um den Einfluss dieser Faktoren auf die endgültige Punktzahl auszugleichen.

Beispiel für die Verwendung in einem Suchsystem: BM25 hilft dabei zu bestimmen, welche Dokumente am relevantesten für die Benutzeranfrage sind, wobei häufige Begriffe im Dokument wichtiger sind, aber zu lange Dokumente keinen ungerechtfertigten Vorteil erhalten.