Mi az a BERTScore, és miért jobb, mint a BLEU a generáció értékelésében?

BERTScore egy mérőszám a generált szöveg minőségének értékelésére, amely a generált és a referencia szöveg közötti szemantikus hasonlóságon alapul. Ellentétben a BLEU-val, amely az n-gramm pontos egyezéseit hasonlítja össze, a BERTScore a BERT modell szavak beágyazásait használja a koszinusz hasonlóság kiszámítására.

A BERTScore előnyei a BLEU-hoz képest:

• Figyelembe veszi a szemantikai jelentést, nem csak a felületes egyezéseket.
• Szinonim és parafrazált változatokat is értékelhet, amit a BLEU alulbecsülhet.
• Ellenállóbb a nyelvi variabilitásnak és a szavak permutációinak.

Példa: ha a generált szöveg ugyanazt a jelentést közvetíti, de más szavakkal, a BLEU alacsony pontszámot adhat, míg a BERTScore magas lehet, tükrözve a valódi minőséget.

Ezért a BERTScore alkalmasabb a generatív modellek értékelésére, ahol a szemantikus közelség fontosabb, mint a szó szerinti egyezés.