Quali sono le metriche di qualità della generazione in RAG (fedeltà, rilevanza della risposta, precisione/ricordo del contesto)?

In RAG (Retrieval-Augmented Generation), spesso vengono utilizzate le seguenti metriche per valutare la qualità della generazione:

• Fiducia (veridicità) — quanto la risposta generata corrisponde ai fatti estratti dal contesto. Importante per valutare la veridicità e l'assenza di invenzioni.

• Rilevanza della risposta — quanto la risposta è pertinente alla domanda posta, cioè se risponde in modo completo e sostanziale.

• Precisione/ricordo del contesto — metriche che valutano la qualità dell'estrazione di informazioni rilevanti dalla base di conoscenza:

  • Precisione — proporzione di documenti estratti che sono effettivamente pertinenti.
  • Ricordo — proporzione di documenti pertinenti che sono stati estratti.

Queste metriche aiutano a capire quanto efficacemente il modello utilizza il contesto esterno e quanto correttamente forma le risposte basandosi su di esso.