Ի՞նչ են RAG-ում գեներացման որակի չափանիշները (հավատարիմություն, պատասխանների համապատասխանություն, կոնտեքստի ճշգրտություն/recall)։

RAG (Retrieval-Augmented Generation) համակարգում հաճախ օգտագործվում են հետևյալ չափանիշները՝ արտադրանքի որակը գնահատելու համար:

• Հավաստիություն (ճշմարտություն) — թե որքան լավ է արտադրված պատասխանն համապատասխանում այն փաստերին, որոնք հանվել են կոնտեքստից։ Դա կարևոր է ճշմարտության և կեղծիքների բացակայության գնահատման համար:

• Պատասխանների համապատասխանություն — թե որքանով է պատասխանն համապատասխան հարցին, այսինքն՝ արդյոք այն լրիվ և հիմնավոր է:

• Կոնտեքստի ճշգրտություն/recall — չափանիշներ, որոնք գնահատում են համապատասխան տեղեկատվության հանման որակը գիտելիքների բազայից:

  • Ճշգրտություն (Precision) — հանված փաստաթղթերի մասնաբաժինը, որոնք իսկապես համապատասխան են:
  • Recall — համապատասխան փաստաթղթերի մասնաբաժինը, որոնք հանվել են:

Այս չափանիշները օգնում են հասկանալ, թե որքան արդյունավետ է մոդելը օգտագործում արտաքին կոնտեքստը և որքան ճիշտ ձևով ձևավորում պատասխանները դրա հիման վրա։