RAG-ში (სანდოობა, პასუხის შესაბამისობა, კონტექსტის სიზუსტე/recall) გენერაციის ხარისხის მეტრიკები რა არის?

RAG (Retrieval-Augmented Generation) სისტემაში ხშირად გამოიყენება შემდეგი მეტრიკები პროდუქტის ხარისხის შეფასებისთვის:

• სანდოობა (სწორობა) — რამდენად კარგად გენერირებული პასუხი ემთხვევა კონტექსტიდან ამოღებულ ფაქტებს. მნიშვნელოვანია სიმართლესა და გამოგონილების გარეშე შეფასებისთვის.

• პასუხის შესაბამისობა — რამდენად შესაბამისია პასუხი დასმულ კითხვასთან, ანუ პასუხი სრულყოფილი და არსებითი არის თუ არა.

• კონტექსტის სიზუსტე/recall — მეტრიკები, რომლებიც აფასებენ შესაბამისი ინფორმაციის ამოღების ხარისხს ცოდნის ბაზიდან:

  • სიზუსტე (Precision) — გამოტანილი დოკუმენტების წილი, რომლებიც მართლაც შესაბამისია.
  • Recall — შესაბამისი დოკუმენტების წილი, რომლებიც გამოტანილია.

ეს მეტრიკები ეხმარება გაიგოთ, რამდენად ეფექტურად იყენებს მოდელი გარე კონტექსტს და რამდენად სწორად ფორმულირებს პასუხებს მის საფუძველზე.