BLEU nədir və hansı tapşırıqlarda istifadə olunur? Bu metrikin hansı problemləri var?

BLEU (İki Dilli Qiymətləndirmə Nümayişçisi) maşın tərcüməsinin keyfiyyətini və digər mətn nəsil tapşırıqlarını qiymətləndirmək üçün istifadə olunan bir metrikdir. O, n-gramların uyğunluğuna əsaslanaraq, yaradılan mətnin bir və ya bir neçə referens tərcümə ilə nə dərəcədə uyğun olduğunu ölçür.

BLEU-nun əsas xüsusiyyətləri:

• n-gramların dəqiqliyini hesablayır (adətən 1-dən 4-ə qədər).
• Çox qısa tərcümələr üçün cəza tətbiq edir (qısalığa görə cəza).

BLEU-nun problemləri:

• Semantik yaxınlığı nəzərə almır, yalnız sözlərin dəqiq uyğunluğuna baxır.
• Üslub və ifadələrə həssasdır, bu da yaxşı, lakin parafraz olunmuş tərcümələrin qiymətləndirilməsini aşağı sala bilər.
• Qısa cümlələr üçün daha az məlumat verir.

Maşın tərcüməsi, mətnin xülasəsi və digər NLP tapşırıqlarında istifadə olunur, burada yaradılan mətnin keyfiyyətinin qiymətləndirilməsi vacibdir.