BLEU چیست و در چه وظایفی از آن استفاده می‌شود؟ مشکلات این معیار چیست؟

BLEU (Биёнгилӣ Иқтидори Ивазкунӣ) як меъёри барои арзёбии сифатии тарҷумаи мошинӣ ва дигар вазифаҳои эҷоди матн мебошад. Он миқдори мувофиқати матни тавлидшуда бо як ё чанд тарҷумаи эталонро бо асоси мувофиқати n-грамҳо месанҷад.

Хусусиятҳои асосии BLEU:

• Дақиқии n-грамҳоро ҳисоб мекунад (одатан аз 1 то 4).
• Барои тарҷумаҳои хеле кӯтоҳ ҷазо ворид мекунад (ҷазо барои кӯтоҳӣ).

Масъалаҳои BLEU:

• Ба наздикӣ семантикӣ аҳамият намедиҳад, танҳо мувофиқати дақиқи калимаҳоро баррасӣ мекунад.
• Ба услуб ва формулҳо ҳассос аст, ки метавонад арзёбии тарҷумаҳои хуб, аммо парафразро паст кунад.
• Барои ҷумлаҳои кӯтоҳ маълумоти камтар дорад.

Дар вазифаҳои тарҷумаи автоматӣ, хулосаи матн ва дигар вазифаҳои NLP, ки арзёбии сифати матни тавлидшуда муҳим аст, истифода мешавад.