Qu'est-ce que BLEU et dans quelles tâches est-il utilisé ? Quels sont les problèmes de cette métrique ?

BLEU (Évaluation Bilingue de l'Understudy) est une métrique pour évaluer la qualité de la traduction automatique et d'autres tâches de génération de texte. Elle mesure dans quelle mesure le texte généré correspond à un ou plusieurs textes de référence en fonction de la correspondance des n-grammes.

Caractéristiques principales de BLEU :

• Calcule la précision des n-grammes (généralement de 1 à 4).
• Introduit une pénalité pour les traductions trop courtes (pénalité de brièveté).

Problèmes de BLEU :

• Ne prend pas en compte la proximité sémantique, seulement la correspondance exacte des mots.
• Est sensible au style et aux formulations, ce qui peut sous-estimer l'évaluation de bonnes traductions paraphrasées.
• Est moins informatif pour les phrases courtes.

Il est utilisé dans les tâches de traduction automatique, de résumé de texte et d'autres tâches NLP où l'évaluation de la qualité du texte généré est importante.