Mi az a BLEU és milyen feladatokban alkalmazzák? Milyen problémái vannak ennek a metrikának?

A BLEU (Bilingual Evaluation Understudy) egy mérőszám a gépi fordítás és más szöveggenerálási feladatok minőségének értékelésére. Megméri, hogy a generált szöveg mennyire egyezik meg egy vagy több referencia fordítással az n-gramok egyezése alapján.

A BLEU fő jellemzői:

• Az n-gramok pontosságát számolja (általában 1-től 4-ig).
• Bevezet egy büntetést a túl rövid fordításokra (rövidség büntetése).

A BLEU problémái:

• Nem veszi figyelembe a szemantikus közelséget, csak a szavak pontos egyezését.
• Érzékeny a stílusra és a megfogalmazásra, ami alulértékelheti a jó, de parafrazált fordításokat.
• Kevésbé informatív rövid mondatok esetén.

Alkalmazzák gépi fordítási, szövegösszefoglalási és más NLP feladatokban, ahol fontos a generált szöveg minőségének értékelése.