Wat is BM25 en wat zijn de parameters (k1, b)?

BM25 (Best Matching 25) — is een populaire rangschikkingsfunctie in informatiezoektocht, gebaseerd op een probabilistisch model. Het beoordeelt de relevantie van een document voor een query, rekening houdend met de frequentie van termen en de lengte van het document.

Belangrijkste parameters:

• k1 — coëfficiënt die de verzadiging van de invloed van de termfrequentie in het document regelt. Hoe hoger k1, hoe sterker de toename van de termfrequentie wordt meegenomen, maar met afnemende opbrengst.
• b — parameter voor normalisatie van de lengte van het document. Waarde van 0 tot 1, waarbij 0 geen normalisatie betekent en 1 volledige normalisatie op basis van de lengte van het document.

De BM25-formule houdt rekening met de termfrequentie in het document, de inverse termfrequentie in de collectie en de lengte van het document, om de invloed van deze factoren op de uiteindelijke score te balanceren.

Voorbeeld van gebruik in een zoekmachine: BM25 helpt te bepalen welke documenten het meest relevant zijn voor de gebruikersquery, waarbij rekening wordt gehouden met het feit dat frequente termen in het document belangrijker zijn, maar dat te lange documenten geen onterechte voordelen krijgen.