Ce este BM25 și care sunt parametrii (k1, b)?

BM25 (Best Matching 25) — este o funcție de clasificare populară în căutarea de informații, bazată pe un model probabilistic. Evaluează relevanța unui document pentru o interogare, luând în considerare frecvența termenilor și lungimea documentului.

Parametri principali:

• k1 — coeficient care reglează saturația influenței frecvenței termenului în document. Cu cât k1 este mai mare, cu atât mai puternic se ia în considerare creșterea frecvenței termenului, dar cu randament descrescător.
• b — parametru de normalizare a lungimii documentului. Valoare de la 0 la 1, unde 0 înseamnă absența normalizării, iar 1 normalizare completă în funcție de lungimea documentului.

Formula BM25 ia în calcul frecvența termenului în document, frecvența inversă a termenului în colecție și lungimea documentului, pentru a echilibra influența acestor factori asupra scorului final.

Exemplu de utilizare într-un sistem de căutare: BM25 ajută la determinarea documentelor cele mai relevante pentru interogarea utilizatorului, ținând cont că termenii frecventi în document sunt mai importanți, dar documentele prea lungi nu obțin un avantaj nejustificat.