Τι είναι το BLEU και σε ποιες εργασίες χρησιμοποιείται; Ποια είναι τα προβλήματα αυτής της μετρικής;

Το BLEU (Βιβλιοθήκη Διγλωσσικής Αξιολόγησης) είναι μια μετρική για την αξιολόγηση της ποιότητας της αυτόματης μετάφρασης και άλλων εργασιών γεννήσεως κειμένου. Μετρά πόσο καλά ταιριάζει το παραγόμενο κείμενο με ένα ή περισσότερα αναφορικά κείμενα βάσει της συμφωνίας των n-γραμμάτων.

Κύρια χαρακτηριστικά του BLEU:

• Υπολογίζει την ακρίβεια των n-γραμμάτων (συνήθως από 1 έως 4).
• Εισάγει ποινή για πολύ σύντομες μεταφράσεις (ποινή συντομίας).

Προβλήματα του BLEU:

• Δεν λαμβάνει υπόψη τη σημασιολογική εγγύτητα, μόνο την ακριβή συμφωνία των λέξεων.
• Είναι ευαίσθητο στο στυλ και τις διατυπώσεις, κάτι που μπορεί να υποτιμήσει την αξιολόγηση καλών, αλλά παραφρασμένων μεταφράσεων.
• Είναι λιγότερο ενημερωτικό για σύντομες προτάσεις.

Εφαρμόζεται σε εργασίες αυτόματης μετάφρασης, περίληψης κειμένων και άλλες εργασίες NLP όπου η αξιολόγηση της ποιότητας του παραγόμενου κειμένου είναι σημαντική.