Wat zijn de kwaliteitsmetingen voor generatie in RAG (getrouwheid, relevantie van het antwoord, precisie/recall van de context)?

In RAG (Retrieval-Augmented Generation) worden vaak de volgende metrics gebruikt om de kwaliteit van de generatie te beoordelen:

• Betrouwbaarheid (waarheid) — hoe goed het gegenereerde antwoord overeenkomt met de feiten die uit de context zijn gehaald. Belangrijk voor het beoordelen van de waarheid en het ontbreken van verzinsels.

• Relevantie van het antwoord — hoe relevant het antwoord is voor de gestelde vraag, oftewel of het volledig en inhoudelijk correct is.

• Contextprecisie/recall — metrics die de kwaliteit van het extraheren van relevante informatie uit de kennisbasis evalueren:

  • Precisie — het aandeel van de geëxtraheerde documenten die daadwerkelijk relevant zijn.
  • Recall — het aandeel van relevante documenten die zijn geëxtraheerd.

Deze metrics helpen te begrijpen hoe effectief het model de externe context gebruikt en hoe correct het de antwoorden op basis daarvan formuleert.