რა არის BLEU და რა დავალებებში გამოიყენება? რა პრობლემები აქვს ამ მეტრიკას?

BLEU (Bi-Lingual Evaluation Understudy) არის მეტрика, რომელიც გამოიყენება მანქანური თარგმნის ხარისხის შეფასებისთვის და სხვა ტექსტის გენერაციის დავალებებისთვის. იგი ზომავს, რამდენად კარგად ემთხვევა გენერირებული ტექსტი ერთ ან რამდენიმე რეფერენციულ თარგმანს ნ-გრამების შესაბამისობის საფუძველზე.

BLEU-ის ძირითადი მახასიათებლები:

• ითვლის ნ-გრამების სიზუსტეს (საშუალოდ 1-დან 4-მდე).
• вводит სასჯელს ძალიან მოკლე თარგმნებისთვის (საკლულო სასჯელი).

BLEU-ის პრობლემები:

• არ ითვალისწინებს სემანტიკურ სიახლოვეს, მხოლოდ სიტყვების ზუსტ შესაბამისობას.
• მგრძნობიარეა სტილზე და ფორმულირებაზე, რაც შეიძლება შეამციროს კარგი, მაგრამ პარაფრაზირებული თარგმნების შეფასება.
• ნაკლებად ინფორმატიულია მოკლე წინადადებებისთვის.

მოყენებულია მანქანური თარგმნის, ტექსტის მიმოხილვის და სხვა NLP დავალებებში, სადაც მნიშვნელოვანია გენერირებული ტექსტის ხარისხის შეფასება.