Come valutare la qualità del retrieval in RAG (recall@k, hit@k, MRR)?

In RAG (Retrieval-Augmented Generation), la qualità del recupero viene valutata mediante metriche che misurano quanto siano pertinenti i documenti restituiti dal modello dal database di conoscenza:

• Recall@k — la proporzione di documenti pertinenti che compaiono nei primi k risultati. Mostra la completezza della ricerca.

• Hit@k — una metrica binaria che vale 1 se almeno un documento pertinente si trova tra i primi k risultati, altrimenti 0. Viene usata per valutare quanto frequentemente si trova un documento pertinente.

• MRR (Mean Reciprocal Rank) — il valore medio del rango reciproco del primo documento pertinente nella lista. Più alto è l’MRR, più i documenti pertinenti sono vicini all’inizio.

Esempio: se un documento pertinente si trova alla posizione 3, allora il rango reciproco = 1/3.

Queste metriche aiutano a capire quanto efficacemente il componente di recupero di RAG trovi le informazioni necessarie per generare risposte.