Welche Qualitätsmetriken für die Generierung in RAG (Faithfulness, Antwortrelevanz, Kontextpräzision/Recall)?

Im RAG (Retrieval-Augmented Generation) werden häufig folgende Metriken zur Bewertung der Generierungsqualität verwendet:

• Verlässlichkeit (Wahrhaftigkeit) — wie gut die generierte Antwort mit den aus dem Kontext extrahierten Fakten übereinstimmt. Wichtig zur Bewertung der Wahrhaftigkeit und des Fehlens von Erfindungen.

• Antwortrelevanz — wie relevant die Antwort für die gestellte Frage ist, also ob sie vollständig und inhaltlich korrekt ist.

• Kontextpräzision/-recall — Metriken, die die Qualität der Extraktion relevanter Informationen aus der Wissensbasis bewerten:

  • Präzision — Anteil der extrahierten Dokumente, die tatsächlich relevant sind.
  • Recall — Anteil der relevanten Dokumente, die extrahiert wurden.

Diese Metriken helfen zu verstehen, wie effektiv das Modell den externen Kontext nutzt und wie korrekt es die Antworten auf dieser Grundlage formuliert.