Wat is het verschil tussen sparse retrieval (BM25) en dense?

Sparse retrieval (bijvoorbeeld BM25) en dense retrieval zijn twee benaderingen voor informatieopslag:

• Sparse retrieval (BM25) is gebaseerd op traditionele methoden, waarbij documenten en zoekopdrachten worden weergegeven als sparsige vectoren die rekening houden met de frequentie van woorden en hun belangrijkheid. BM25 beoordeelt de relevantie op basis van de overeenkomst van kernwoorden en hun gewicht.

• Dense retrieval gebruikt neurale modellen om zoekopdrachten en documenten om te zetten in dichte vectoren van vaste grootte. De zoekactie gebeurt op basis van de nabijheid van deze vectoren in de kenmerkenruimte, wat semantische nabijheid mogelijk maakt, niet alleen exacte woordovereenkomsten.

Zo werkt sparse retrieval goed met exacte overeenkomsten en eenvoudige zoekopdrachten, terwijl dense retrieval effectief is voor het begrijpen van de betekenis en synoniemen, wat vooral belangrijk is in moderne systemen met grote taalmodellen en RAG (retrieval-augmented generation).