Qu'est-ce que BM25 et quels sont les paramètres (k1, b) ?

BM25 (Meilleure Correspondance 25) — c’est une fonction de classement populaire dans la recherche d’informations, basée sur un modèle probabiliste. Elle évalue la pertinence d’un document par rapport à une requête, en tenant compte de la fréquence des termes et de la longueur du document.

Paramètres principaux:

• k1 — coefficient qui régule la saturation de l’impact de la fréquence du terme dans le document. Plus k1 est élevé, plus l’augmentation de la fréquence du terme est prise en compte, mais avec un rendement décroissant.
• b — paramètre de normalisation de la longueur du document. La valeur va de 0 à 1, où 0 signifie absence de normalisation, et 1 une normalisation complète par la longueur du document.

La formule BM25 prend en compte la fréquence du terme dans le document, la fréquence inverse du terme dans la collection et la longueur du document, pour équilibrer l’impact de ces facteurs sur le score final.

Exemple d’utilisation dans un système de recherche : BM25 aide à déterminer quels documents sont les plus pertinents pour la requête de l’utilisateur, en tenant compte du fait que les termes fréquents dans le document sont plus importants, mais que les documents trop longs ne bénéficient pas d’un avantage injustifié.