RAG'da (güvenilirlik, cevap alaka düzeyi, bağlam hassasiyeti/geri çağırma) üretim kalitesi metrikleri nelerdir?

RAG (Retrieval-Augmented Generation) içinde, genellikle aşağıdaki metrikler kullanılır:

• Güvenilirlik (doğruluk) — üretilen yanıtın, bağlamdan çıkarılan gerçeklerle ne kadar uyumlu olduğu. Doğruluk ve uydurma olmaması açısından önemlidir.

• Yanıt alaka düzeyi — yanıtın soruyla ne kadar ilgili olduğu, yani soruyu tam ve esaslı şekilde cevaplayıp cevaplamadığı.

• Bağlam doğruluk/geri çağırma (recall) — bilgi tabanından ilgili bilgilerin çıkarılma kalitesini değerlendiren metrikler:

  • Doğruluk (Precision) — çıkarılan belgelerin gerçekten ilgili olma oranı.
  • Geri çağırma (Recall) — ilgili belgelerin çıkarılma oranı.

Bu metrikler, modelin dış bağlamı ne kadar etkin kullandığını ve buna dayanarak yanıtları ne kadar doğru biçimde oluşturduğunu anlamaya yardımcı olur.