BLEU деген эмне жана аны кайсы тапшырмаларда колдонушат? Бул метриканын кандай көйгөйлөрү бар?

BLEU (İki Dilli Baholama Nümunəsi) maşın tərcüməsinin keyfiyyətini və digər mətn nəsil tapşırıqlarını qiymətləndirmək üçün istifadə olunan bir metrikdir. O, n-gramların uyğunluğuna əsaslanaraq, yaradılan mətnin bir və ya bir neçə referens tərcümə ilə nə dərəcədə uyğun olduğunu ölçür.

BLEU-nun əsas xüsusiyyətləri:

• n-gramların dəqiqliyini hesablayır (adətən 1-dən 4-ə qədər).
• Çox qısa tərcümələr üçün cəza tətbiq edir (qısalığa görə cəza).

BLEU-nun problemləri:

• Semantik yaxınlığı nəzərə almır, yalnız sözlərin dəqiq uyğunluğuna baxır.
• Üslub və ifadələrə həssasdır, bu da yaxşı, lakin parafraz olunmuş tərcümələrin qiymətləndirilməsini aşağı sala bilər.
• Qısa cümlələr üçün daha az məlumat verir.

Maşın tərcüməsi, mətnin xülasəsi və digər NLP tapşırıqlarında istifadə olunur, burada yaradılan mətnin keyfiyyətinin qiymətləndirilməsi vacibdir.