Cos'è BM25 e quali sono i parametri (k1, b)?

BM25 (Best Matching 25) — è una funzione di ranking popolare nella ricerca di informazioni, basata su un modello probabilistico. Valuta la pertinenza di un documento rispetto a una query, considerando la frequenza dei termini e la lunghezza del documento.

Parametri principali:

• k1 — coefficiente che regola la saturazione dell'influenza della frequenza del termine nel documento. Più alto è k1, più forte è la considerazione dell'aumento della frequenza del termine, ma con rendimenti decrescenti.
• b — parametro di normalizzazione della lunghezza del documento. Valore da 0 a 1, dove 0 indica assenza di normalizzazione e 1 normalizzazione completa per la lunghezza del documento.

La formula BM25 considera la frequenza del termine nel documento, la frequenza inversa del termine nella collezione e la lunghezza del documento, per bilanciare l'influenza di questi fattori sul punteggio finale.

Esempio di utilizzo in un sistema di ricerca: BM25 aiuta a determinare quali documenti sono più pertinenti alla query dell'utente, considerando che i termini frequenti nel documento sono più importanti, ma documenti troppo lunghi non ottengono un vantaggio ingiustificato.