Čo je BERTScore a prečo je lepší ako BLEU pri hodnotení generácie?

BERTScore je metrike za ocenjevanje kakovosti generiranega besedila, ki temelji na semantični podobnosti med generiranim in referenčnim besedilom. Za razliko od BLEU, ki primerja natančne ujemanja n-gramov, BERTScore uporablja vektorje besed iz modela BERT za izračun kosinusne podobnosti.

Prednosti BERTScore v primerjavi z BLEU:

• Upošteva semantiko, ne le površinske ujemanja.
• Lahko oceni sinonimne in parafrazirane različice, ki jih BLEU morda podcenjuje.
• Je bolj odporen na jezikovno variabilnost in permutacije besed.

Primer: če generirano besedilo prenese enak pomen, vendar z drugimi besedami, lahko BLEU da nizko oceno, medtem ko je BERTScore lahko visok, kar odraža resnično kakovost generacije.

Zato je BERTScore bolj primeren za oceno generativnih modelov, kjer je pomembna semantična bližina, ne pa dobesedno ujemanje.