Šta je BLEU i u kojim zadacima se koristi? Koji su problemi ove metrike?

BLEU (Bilingual Evaluation Understudy) je metrika za ocenjivanje kvaliteta mašinskog prevođenja i drugih zadataka generisanja teksta. Meri koliko se generisani tekst poklapa sa jednim ili više referentnih prevoda na osnovu poklapanja n-grama.

Glavne osobine BLEU:

• Računa tačnost n-grama (obično od 1 do 4).
• Uvodi kaznu za prekratke prevode (kazna za sažetost).

Problemi BLEU:

• Ne uzima u obzir semantičku bliskost, već samo tačno poklapanje reči.
• Osetljiv je na stil i formulacije, što može podcijeniti ocjenu dobrih, ali parafraziranih prevoda.
• Manje je informativan za kratke rečenice.

Koristi se u zadacima mašinskog prevođenja, sažimanju teksta i drugih NLP zadataka gde je važna ocena kvaliteta generisanog teksta.