O que é o BLEU e em que tarefas é utilizado? Quais são os problemas desta métrica?

BLEU (Avaliação Bilingue Substituta) é uma métrica para avaliar a qualidade da tradução automática e outras tarefas de geração de texto. Ela mede o quão bem o texto gerado corresponde a um ou vários textos de referência com base na correspondência de n-gramas.

Principais características do BLEU:

• Calcula a precisão de n-gramas (geralmente de 1 a 4).
• Introduz uma penalização por traduções demasiado curtas (penalização de brevidade).

Problemas do BLEU:

• Não considera a proximidade semântica, apenas a correspondência exata de palavras.
• É sensível ao estilo e às formulações, o que pode subestimar a avaliação de traduções boas, mas parafraseadas.
• É menos informativo para frases curtas.

Aplicado em tarefas de tradução automática, sumarização de textos e outras tarefas de PLN onde a avaliação da qualidade do texto gerado é importante.