Wat is BERTScore en waarom is het beter dan BLEU voor het beoordelen van generatie?

BERTScore is een metriek voor het beoordelen van de kwaliteit van gegenereerde tekst, gebaseerd op de semantische gelijkenis tussen de gegenereerde en de referentietekst. In tegenstelling tot BLEU, dat exacte overeenkomsten van n-grammen vergelijkt, gebruikt BERTScore woord-embeddings van het BERT-model om de cosine-gelijkenis te berekenen.

Voordelen van BERTScore ten opzichte van BLEU:

• Houdt rekening met de semantiek, niet alleen oppervlakkige overeenkomsten.
• Kan synonieme en parafraseerde varianten beoordelen, die BLEU mogelijk onderschat.
• Is robuuster tegen taalvariatie en woordvolgordes.

Voorbeeld: als de gegenereerde tekst dezelfde betekenis overbrengt maar met andere woorden, kan BLEU een lage score geven, terwijl BERTScore hoog kan zijn, wat de werkelijke kwaliteit van de generatie weerspiegelt.

Daarom is BERTScore geschikter voor het beoordelen van generatieve modellen waar semantische nabijheid belangrijk is, niet de letterlijke overeenkomst.