¿Qué es BERTScore y por qué es mejor que BLEU para evaluar la generación?

BERTScore es una métrica de evaluación de la calidad del texto generado, basada en la similitud semántica entre el texto generado y el de referencia. A diferencia de BLEU, que compara coincidencias exactas de n-gramas, BERTScore utiliza embeddings de palabras del modelo BERT para calcular la similitud coseno.

Ventajas de BERTScore sobre BLEU:

• Considera la semántica, no solo coincidencias superficiales.
• Puede evaluar variantes sinónimas y parafraseadas, que BLEU puede subestimar.
• Es más resistente a la variabilidad del lenguaje y a las permutaciones de palabras.

Ejemplo: si el texto generado transmite el mismo significado pero con otras palabras, BLEU puede dar una puntuación baja, mientras que BERTScore puede ser alta, reflejando la verdadera calidad de la generación.

Por lo tanto, BERTScore es más adecuado para evaluar modelos generativos donde la cercanía semántica es importante, no la coincidencia literal.