Qual è la differenza tra retrieval sparso (BM25) e dense?

Il recupero sparso (ad esempio, BM25) e il recupero denso sono due approcci alla ricerca di informazioni:

• Recupero sparso (BM25) si basa su metodi tradizionali, dove documenti e query sono rappresentati come vettori sparsi, considerando la frequenza delle parole e la loro importanza. BM25 valuta la pertinenza in base alla corrispondenza delle parole chiave e ai loro pesi.

• Recupero denso utilizza modelli di reti neurali per trasformare query e documenti in vettori densi di dimensione fissa. La ricerca avviene tramite la vicinanza di questi vettori nello spazio delle caratteristiche, permettendo di considerare la prossimità semantica, non solo le corrispondenze esatte delle parole.

In questo modo, il recupero sparso funziona bene con corrispondenze esatte e query semplici, mentre il recupero denso è efficace per comprendere il significato e i sinonimi, cosa particolarmente importante nei sistemi moderni con grandi modelli linguistici e RAG (generazione aumentata da recupero).