Care sunt metricile de calitate ale generării în RAG (fidelitate, relevanța răspunsului, precizia/recall-ul contextului)?

În RAG (Retrieval-Augmented Generation), se folosesc adesea următoarele metrici pentru a evalua calitatea generării:

• Fidelitate (veridicitate) — cât de bine răspunsul generat corespunde faptelor extrase din context. Este important pentru evaluarea veridicității și absenței invențiilor.

• Relevanța răspunsului — cât de relevant este răspunsul pentru întrebarea formulată, adică dacă răspunde complet și substanțial.

• Precizie/recall-ul contextului — metrici care evaluează calitatea extragerii informațiilor relevante din baza de cunoștințe:

  • Precizie — proporția de documente extrase care sunt cu adevărat relevante.
  • Recall — proporția de documente relevante care au fost extrase.

Aceste metrici ajută la înțelegerea cât de eficient utilizează modelul contextul extern și cât de corect formulează răspunsurile pe baza acestuia.