Mis on BLEU ja millistes ülesannetes seda kasutatakse? Millised on selle metrika probleemid?

BLEU (Bilingual Evaluation Understudy) on mõõdik, mida kasutatakse masintõlke kvaliteedi hindamiseks ja teiste teksti genereerimise ülesannete jaoks. See mõõdab, kui hästi genereeritud tekst vastab ühele või mitmele viidetõlkele, põhinedes n-grammide kokkulangevusel.

BLEU peamised omadused:

• Arvutab n-grammide täpsuse (tavaliselt 1 kuni 4).
• Toob sisse karistuse liiga lühikeste tõlgete jaoks (lühikuse karistus).

BLEU probleemid:

• Ei arvesta semantilist lähedust, vaid ainult sõnade täpset kokkulangevust.
• On tundlik stiili ja sõnastuse suhtes, mis võib alahinnata häid, kuid parafraaseeritud tõlkeid.
• On vähem informatiivne lühikeste lausete puhul.

Kasutatakse masintõlkes, teksti kokkuvõtetes ja teistes NLP ülesannetes, kus on oluline hinnata genereeritud teksti kvaliteeti.