BERTScore چیست و چرا بهتر از BLEU برای ارزیابی تولید است؟

BERTScore — метрикаи арзёбии сифати матни тавлидшуда, ки асос ёфтааст ба монандии семантикӣ байни матни тавлидшуда ва матни эталонӣ. Баръакси BLEU, ки мувофиқати дақиқи n-грамҳоро муқоиса мекунад, BERTScore аз векторҳои калимаҳои модели BERT барои ҳисоб кардани мувофиқати косинусӣ истифода мебарад.

Афзалиятҳои BERTScore нисбат ба BLEU:

• Ба назар мегирад семантикӣ, на танҳо мувофиқати сатҳӣ.
• Мумкин аст вариантҳои синонимӣ ва парафразиро арзёбӣ кунад, ки BLEU метавонад паст арзёбӣ кунад.
• Ба тағйирёбии забон ва тағйироти калимаҳо тобовар аст.

Масалан: агар матни тавлидшуда маънои ҳамонро интиқол диҳад, аммо бо калимаҳои дигар, BLEU метавонад баҳо паст диҳад, дар ҳоле ки BERTScore метавонад баланд бошад, ки сифати воқеии тавлидро инъикос мекунад.

Аз ин рӯ, BERTScore барои арзёбии моделҳои тавлидӣ, ки наздикӣ ба маъно муҳим аст, беҳтар аст, на мувофиқати луғавӣ.