Τι είναι το ERR (Expected Reciprocal Rank);
sobes.tech AI
Απάντηση από AI
ERR (Expected Reciprocal Rank) — είναι μια μετρική αξιολόγησης της ποιότητας της κατάταξης στην αναζήτηση πληροφοριών και στα συστήματα μάθησης κατάταξης (Learning to Rank). Μετρά την αναμενόμενη τιμή της αντίστροφης κατάταξης του πρώτου σχετικού εγγράφου στη λίστα αποτελεσμάτων.
Η ιδέα είναι ότι για κάθε ερώτημα υπολογίζεται η αντίστροφη κατάταξη (1 / θέση του πρώτου σχετικού αποτελέσματος), και στη συνέχεια λαμβάνεται η μαθηματική αναμονή πάνω στην κατανομή της σχετικότητας. Το ERR λαμβάνει υπόψη την πιθανότητα ο χρήστης να σταματήσει σε ένα συγκεκριμένο αποτέλεσμα, μοντελοποιώντας τη συμπεριφορά του χρήστη κατά την περιήγηση στη λίστα.
Εφαρμογές:
- Επιτρέπει την αξιολόγηση της ποιότητας της κατάταξης λαμβάνοντας υπόψη την πιθανότητα ικανοποίησης του χρήστη.
- Χρησιμοποιείται για τη βελτιστοποίηση και τη σύγκριση μοντέλων κατάταξης.
Παράδειγμα: αν το πρώτο σχετικό έγγραφο βρίσκεται στη θέση 2, η συμβολή στο ERR θα είναι 1/2 = 0.5.