RAG-də (etibarlılıq, cavab uyğunluğu, kontekst dəqiqliyi/recall) nəsil keyfiyyətinin metrikləri hansılardır?

RAG (Retrieval-Augmented Generation) üçün keyfiyyətli nəsil üçün tez-tez aşağıdakı metriklər istifadə olunur:

• İnamlılıq (doğruluq) — yaradılan cavabın kontekstdən çıxarılmış faktlara nə dərəcədə uyğun olması. Doğruluğu və uydurmaların olmamasını qiymətləndirmək üçün vacibdir.

• Cavabın relevansı — cavabın verilmiş suala nə dərəcədə uyğun olduğu, yəni tam və əsaslı cavab verib-vermədiyi.

• Kontekst dəqiqliyi/recall — məlumat bazasından müvafiq məlumatların çıxarılma keyfiyyətini qiymətləndirən metriklər:

  • Dəqiqlik (Precision) — çıxarılmış sənədlərin nə dərəcədə həqiqətən müvafiq olması.
  • Recall — müvafiq sənədlərin nə dərəcədə çıxarılması.

Bu metriklər modelin xarici kontekstdən necə effektiv istifadə etdiyini və ona əsaslanaraq cavabları necə düzgün formalaşdırdığını anlamağa kömək edir.