Πώς αξιολογούμε την ποιότητα ανάκτησης στο RAG (recall@k, hit@k, MRR);

Στο RAG (Retrieval-Augmented Generation), η ποιότητα της ανάκτησης αξιολογείται με μετρικές που μετρούν πόσο σχετικά είναι τα έγγραφα που επιστρέφονται από το μοντέλο από τη βάση γνώσεων:

• Recall@k — το ποσοστό των σχετικών εγγράφων που εμφανίζονται στα κορυφαία k αποτελέσματα. Δείχνει την πληρότητα της αναζήτησης.

• Hit@k — μια δυαδική μετρική που είναι 1 αν τουλάχιστον ένα σχετικό έγγραφο βρίσκεται στα πρώτα k αποτελέσματα, διαφορετικά 0. Χρησιμοποιείται για την αξιολόγηση του πόσο συχνά βρίσκουμε ένα σχετικό έγγραφο.

• MRR (Μέσος Αναλογικός Τάξη) — η μέση τιμή του αναλογικού τάξης του πρώτου σχετικού εγγράφου στη λίστα. Όσο υψηλότερο το MRR, τόσο πιο κοντά στην αρχή βρίσκονται τα σχετικά έγγραφα.

Παράδειγμα: αν ένα σχετικό έγγραφο βρίσκεται στη θέση 3, τότε ο αναλογικός τάξη = 1/3.

Αυτές οι μετρικές βοηθούν στο να κατανοήσουμε πόσο αποτελεσματικά το συστατικό ανάκτησης του RAG βρίσκει τις απαραίτητες πληροφορίες για τη δημιουργία απαντήσεων.