Kādas ir RAG ģenerēšanas kvalitātes metriku (ticamība, atbilstības relevance, konteksta precizitāte/recall)?

RAG (Retrieval-Augmented Generation) bieži izmanto šādus rādītājus, lai novērtētu ģenerēšanas kvalitāti:

• Uzticamība (patiesība) — cik labi ģenerētais atbilde atbilst no konteksta izvilktajiem faktiem. Svarīgi, lai novērtētu patiesumu un izvairītos no izdomājumiem.

• Atbildes relevance — cik atbilde ir saistīta ar uzdoto jautājumu, tas ir, vai tā pilnībā un būtiski atbild.

• Konteksta precizitāte/recall — metrikas, kas novērtē svarīgas informācijas izvilkšanas kvalitāti no zināšanu bāzes:

  • Precizitāte (Precision) — daļa izvilkto dokumentu, kas patiešām ir relevanti.
  • Recall — daļa relevanto dokumentu, kas tika izvilkti.

Šīs metrikas palīdz saprast, cik efektīvi modelis izmanto ārējo kontekstu un cik pareizi tas veido atbildes, balstoties uz to.