Millised on RAG-is genereerimise kvaliteedi mõõdikud (usaldusväärsus, vastuse asjakohasus, konteksti täpsus/recall)?

RAG (Retrieval-Augmented Generation) puhul kasutatakse sageli järgmisi mõõdikuid genereerimise kvaliteedi hindamiseks:

• Usaldusväärsus (tõesus) — kui hästi genereeritud vastus vastab kontekstist välja toodud faktidele. Oluline tõelevastavuse ja väljamõeldiste puudumise hindamisel.

• Vastuse asjakohasus — kui asjakohane on vastus esitatud küsimusele, st kas see vastab täielikult ja sisuliselt.

• Konteksti täpsus/recall — mõõdikud, mis hindavad asjakohaste andmete väljavõtmise kvaliteeti teadmistebaasist:

  • Täpsus (Precision) — osakaal välja võetud dokumentidest, mis on tõeliselt asjakohased.
  • Recall — osakaal asjakohastest dokumentidest, mis on välja võetud.

Need mõõdikud aitavad mõista, kui tõhusalt kasutab mudel välist konteksti ja kui õigesti vormistab vastuseid selle põhjal.