Hoe evalueer je de kwaliteit van retrieval in RAG (recall@k, hit@k, MRR)?

In RAG (Retrieval-Augmented Generation) wordt de kwaliteit van de retrieval beoordeeld met behulp van metrics die meten hoe relevant de documenten zijn die door het model uit de kennisbasis worden geretourneerd:

• Recall@k — het aandeel relevante documenten dat in de top-k resultaten verschijnt. Geeft de volledigheid van de zoekopdracht weer.

• Hit@k — een binaire metric die 1 is als er ten minste één relevant document in de top-k resultaten staat, anders 0. Wordt gebruikt om te beoordelen hoe vaak een relevant document wordt gevonden.

• MRR (Gemiddelde Reciproque Rang) — de gemiddelde waarde van de reciproque rang van het eerste relevante document in de lijst. Hoe hoger de MRR, hoe dichter de relevante documenten bij het begin staan.

Voorbeeld: als een relevant document op positie 3 staat, dan is de reciproque rang = 1/3.

Deze metrics helpen te begrijpen hoe effectief de retrieval-component van RAG is in het vinden van de benodigde informatie om antwoorden te genereren.