BLEU nedir ve hangi görevlerde kullanılır? Bu metriğin hangi sorunları var?

BLEU (İki Dilli Değerlendirme Yedekçisi) otomatik çeviri ve diğer metin üretim görevlerinin kalitesini değerlendirmek için kullanılan bir metriktir. Üretilen metnin, referans çevirilerle n-gram eşleşmesine göre ne kadar uyumlu olduğunu ölçer.

BLEU'nun temel özellikleri:

• n-gram doğruluğunu hesaplar (genellikle 1 ile 4 arasında).
• Çok kısa çevirilere karşı bir ceza getirir (kısalık cezası).

BLEU'nun sorunları:

• Semantik yakınlığı dikkate almaz, sadece kelimelerin tam eşleşmesine bakar.
• Stil ve ifadeye duyarlıdır, bu da iyi ama yeniden ifade edilen çevirilerin değerlendirmesini düşük yapabilir.
• Kısa cümleler için daha az bilgilendiricidir.

Makine çevirisi, metin özetleme ve diğer NLP görevlerinde, üretilen metnin kalitesinin değerlendirilmesinde kullanılır.