Kas yra BLEU ir kokiose užduotyse jis taikomas? Kokios yra šios metrikos problemos?

BLEU (Dvikalbė Vertinimo Pakaitinė) yra matas, naudojamas automatinio vertimo ir kitų teksto generavimo užduočių kokybės įvertinimui. Jis matuoja, kaip gerai sugeneruotas tekstas atitinka vieną ar kelis referencinius vertimus, remiantis n-gramų atitikimu.

Pagrindinės BLEU savybės:

• Skaičiuoja n-gramų tikslumą (paprastai nuo 1 iki 4).
• Įveda baudą už per trumpus vertimus (trukmės bausmė).

BLEU problemos:

• Nesižvelgia į semantinį artumą, tik į tikslią žodžių atitikimą.
• Yra jautrus stiliui ir formuluotėms, kas gali sumažinti įvertinimą gerų, bet parafrazuotų vertimų.
• Mažiau informatyvus trumpoms sakiniams.

Naudojamas automatinio vertimo, teksto santraukų ir kitų NLP užduočių srityse, kur svarbu įvertinti sugeneruoto teksto kokybę.