BLEU nima va uni qaysi vazifalarda qo'llashadi? Bu metrikaning qanday muammolari bor?

BLEU (Bilingual Evaluation Understudy) — bu mashina tarjimonining sifatini baholash uchun ishlatiladigan mezon. U ishlab chiqarilgan matnni bir yoki bir nechta referens tarjimalar bilan n-gramlarning mosligi asosida o'lchaydi.

BLEU ning asosiy xususiyatlari:

• n-gramlarning aniqligini hisoblaydi (odatda 1 dan 4 gacha).
• Juda qisqa tarjimalar uchun jazoni kiritadi (qisqalik jazosi).

BLEU ning muammolari:

• Semantik yaqinlikni hisobga olmaydi, faqat so'zlarning aniq mosligini tekshiradi.
• Usul va ifodalarga sezgir, bu yaxshi, lekin paraphraz qilingan tarjimalarning bahosini pasaytirishi mumkin.
• Qisqa jumlalar uchun kamroq ma'lumot beradi.

U mashina tarjima, matnni qisqartirish va boshqa NLP vazifalarida, ishlab chiqarilgan matn sifatini baholashda qo'llaniladi.