BERTScore nedir ve neden üretimi değerlendirmede BLEU'dan daha iyidir?

BERTScore, üretilen metin kalitesini değerlendirmek için kullanılan, üretilen ve referans metinler arasındaki anlamsal benzerliğe dayanan bir metriktir. BLEU'nun aksine, ki bu tam n-gram eşleşmelerini karşılaştırırken, BERTScore kelime gömme vektörlerini kullanarak kosinüs benzerliğini hesaplar.

BERTScore'un BLEU'ya göre avantajları:

• Anlamı dikkate alır, sadece yüzeysel eşleşmeler değil.
• Sinonim ve yeniden ifade edilen varyantları değerlendirebilir, ki BLEU bunları hafife alabilir.
• Dil varyasyonlarına ve kelime permutasyonlarına karşı daha dayanıklıdır.

Örnek: Eğer üretilen metin aynı anlamı farklı kelimelerle aktarıyorsa, BLEU düşük bir skor verebilir, BERTScore ise yüksek olabilir, bu da gerçek kaliteyi yansıtır.

Bu nedenle, BERTScore, anlamsal yakınlığın önemli olduğu, kelimesel tam uyumdan çok, üretici modellerin değerlendirilmesinde daha uygundur.