Что такое BERTScore и почему он лучше BLEU для оценки генерации?

BERTScore — это метрика оценки качества сгенерированного текста, основанная на семантическом сходстве между сгенерированным и эталонным текстом. В отличие от BLEU, который сравнивает точные совпадения n-грамм, BERTScore использует эмбеддинги слов из модели BERT для вычисления косинусного сходства.

Преимущества BERTScore над BLEU:

• Учитывает семантику, а не только поверхностные совпадения.
• Может оценивать синонимичные и перефразированные варианты, которые BLEU может недооценить.
• Более устойчив к вариативности языка и перестановкам слов.

Пример: если сгенерированный текст передаёт тот же смысл, но другими словами, BLEU может дать низкую оценку, а BERTScore — высокую, отражая реальное качество генерации.

Таким образом, BERTScore лучше подходит для оценки генеративных моделей, где важна семантическая близость, а не буквальное совпадение.