Ποια είναι τα κριτήρια ποιότητας της γεννήτριας στο RAG (πιστότητα, σχετικότητα της απάντησης, ακρίβεια/ανάκληση του πλαισίου);

Στο RAG (Retrieval-Augmented Generation), συχνά χρησιμοποιούνται οι ακόλουθες μετρήσεις για την αξιολόγηση της ποιότητας της γεννήτριας:

• Πιστότητα (αληθοφάνεια) — πόσο καλά η παραγόμενη απάντηση αντιστοιχεί στα γεγονότα που εξάγονται από το πλαίσιο. Σημαντικό για την αξιολόγηση της αλήθειας και της απουσίας φανταστικών στοιχείων.

• Σχετικότητα της απάντησης — πόσο σχετική είναι η απάντηση με την ερώτηση, δηλαδή αν απαντά πλήρως και ουσιαστικά.

• Ακρίβεια/ανάκληση του πλαισίου — μετρήσεις που αξιολογούν την ποιότητα της εξαγωγής σχετικών πληροφοριών από τη βάση γνώσεων:

  • Ακρίβεια — ποσοστό των εξαγόμενων εγγράφων που είναι πραγματικά σχετικά.
  • Ανάκληση — ποσοστό των σχετικών εγγράφων που έχουν εξαχθεί.

Αυτές οι μετρήσεις βοηθούν στην κατανόηση του πόσο αποτελεσματικά το μοντέλο χρησιμοποιεί το εξωτερικό πλαίσιο και πόσο σωστά διαμορφώνει τις απαντήσεις βάσει αυτού.