Qu'est-ce que BERTScore et pourquoi est-il meilleur que BLEU pour l'évaluation de la génération?

BERTScore est une métrique d’évaluation de la qualité du texte généré, basée sur la similarité sémantique entre le texte généré et le texte de référence. Contrairement à BLEU, qui compare les correspondances exactes de n-grammes, BERTScore utilise des embeddings de mots du modèle BERT pour calculer la similarité cosinus.

Avantages de BERTScore par rapport à BLEU :

• Prend en compte la sémantique, pas seulement les correspondances superficielles.
• Peut évaluer des variantes synonymes et paraphrasées, que BLEU pourrait sous-estimer.
• Est plus résistant à la variabilité linguistique et aux permutations de mots.

Exemple : si le texte généré transmet le même sens mais avec d’autres mots, BLEU peut donner une faible note, tandis que BERTScore peut être élevé, reflétant la véritable qualité de la génération.

Ainsi, BERTScore est plus adapté pour évaluer des modèles génératifs où la proximité sémantique est importante, et non la correspondance littérale.