Čo je BLEU a v akých úlohách sa používa? Aké sú problémy tejto metriky?

BLEU (Bilingual Evaluation Understudy) je metrika za ocenjevanje kakovosti strojnega prevajanja in drugih nalog generiranja besedil. Meri, kako dobro generirano besedilo sovpada z enim ali več referenčnimi prevodi na podlagi sovpadanja n-gramov.

Glavne značilnosti BLEU:

• Izračuna natančnost n-gramov (običajno od 1 do 4).
• Uvede kazen za prekratke prevode (kazen za zgoščenost).

Težave BLEU:

• Ne upošteva semantične bližine, temveč le točno sovpadanje besed.
• Je občutljiv na slog in formulacije, kar lahko podcenjuje oceno dobrih, a parafraziranih prevodov.
• Je manj informativen za kratke stavke.

Uporablja se pri nalogah strojnega prevajanja, povzemanja besedil in drugih NLP nalogah, kjer je pomembna ocena kakovosti generiranega besedila.