¿Qué es BLEU y en qué tareas se aplica? ¿Cuáles son los problemas de esta métrica?

BLEU (Evaluación Bilingüe de Sustitución) es una métrica para evaluar la calidad de la traducción automática y otras tareas de generación de texto. Mide qué tan bien el texto generado coincide con uno o varios textos de referencia en función de la coincidencia de n-gramas.

Características principales de BLEU:

• Calcula la precisión de n-gramas (generalmente de 1 a 4).
• Introduce una penalización por traducciones demasiado cortas (penalización de brevedad).

Problemas de BLEU:

• No considera la cercanía semántica, solo la coincidencia exacta de palabras.
• Es sensible al estilo y las formulaciones, lo que puede subestimar la evaluación de traducciones buenas pero parafraseadas.
• Es menos informativo para oraciones cortas.

Se aplica en tareas de traducción automática, resumen de textos y otras tareas de PLN donde la evaluación de la calidad del texto generado es importante.