RAGda (ishonchlilik, javob muvofiqligi, kontekst aniqligi/recall) ishlab chiqarish sifatining o'lchovlari qanday?

RAG (Retrieval-Augmented Generation) da qiymatlash uchun ko'pincha quyidagi metrikalar ishlatiladi:

• Ishonchlilik (haqiqatlik) — yaratilgan javob kontekstdan chiqarilgan faktlarga qanchalik mos keladi. Haqiqatlik va haqiqatdan tashqari chiqarishlarni baholash uchun muhim.

• Javob relevanti — javob berilgan savolga qanchalik mos keladi, ya'ni to'liq va mazmunli javob beradimi.

• Kontekst aniqligi/recall — ma'lumotlar bazasidan muhim ma'lumotlarni chiqarish sifatini baholovchi metrikalar:

  • Aniqlik (Precision) — chiqarilgan hujjatlarning qanchalik muhimligi.
  • Recall — muhim hujjatlarning chiqarilganligi.

Ushbu metrikalar modelning tashqi kontekstdan qanday samarali foydalanishini va unga asoslangan holda javoblarni qanday to'g'ri shakllantirishini tushunishga yordam beradi.