O que é BERTScore e por que é melhor que BLEU para avaliação de geração?

O BERTScore é uma métrica de avaliação da qualidade do texto gerado, baseada na semântica entre o texto gerado e o texto de referência. Ao contrário do BLEU, que compara coincidências exatas de n-gramas, o BERTScore usa embeddings de palavras do modelo BERT para calcular a similaridade do cosseno.

Vantagens do BERTScore sobre o BLEU:

• Considera a semântica, não apenas coincidências superficiais.
• Pode avaliar variantes sinônimas e parafraseadas, que o BLEU pode subestimar.
• É mais resistente à variabilidade linguística e às permutações de palavras.

Exemplo: se o texto gerado transmite o mesmo significado, mas com palavras diferentes, o BLEU pode dar uma pontuação baixa, enquanto o BERTScore pode ser alta, refletindo a verdadeira qualidade da geração.

Portanto, o BERTScore é mais adequado para avaliar modelos generativos onde a proximidade semântica é importante, não a correspondência literal.