Τι είναι το BERTScore και γιατί είναι καλύτερο από το BLEU για την αξιολόγηση της γενιάς;

BERTScore — είναι μια μετρική αξιολόγησης της ποιότητας του παραγόμενου κειμένου, βασισμένη στην σημασιολογική ομοιότητα μεταξύ του παραγόμενου και του αναφοράς κειμένου. Σε αντίθεση με το BLEU, που συγκρίνει ακριβείς αντιστοιχίσεις n-γραμμών, το BERTScore χρησιμοποιεί ενσωματώματα λέξεων από το μοντέλο BERT για τον υπολογισμό της συνημίτονου ομοιότητας.

Πλεονεκτήματα του BERTScore σε σχέση με το BLEU:

• Λαμβάνει υπόψη τη σημασιολογία, όχι μόνο τις επιφανειακές αντιστοιχίσεις.
• Μπορεί να αξιολογήσει παραλλαγές συνωνύμων και παραφράσεων, που το BLEU μπορεί να υποεκτιμήσει.
• Είναι πιο ανθεκτικό στην ποικιλομορφία της γλώσσας και στις ανακατατάξεις λέξεων.

Παράδειγμα: αν το παραγόμενο κείμενο μεταφέρει το ίδιο νόημα αλλά με διαφορετικές λέξεις, το BLEU μπορεί να δώσει χαμηλή βαθμολογία, ενώ το BERTScore μπορεί να είναι υψηλό, αντικατοπτρίζοντας την πραγματική ποιότητα της παραγωγής.

Επομένως, το BERTScore είναι πιο κατάλληλο για την αξιολόγηση γεννητικών μοντέλων όπου η σημασιολογική εγγύτητα είναι σημαντική, και όχι η κυριολεκτική αντιστοιχία.