Что такое BLEU и в каких задачах его применяют? Какие есть проблемы у этой метрики?

BLEU (Bilingual Evaluation Understudy) — это метрика для оценки качества машинного перевода и других задач генерации текста. Она измеряет, насколько сгенерированный текст совпадает с одним или несколькими эталонными переводами по совпадению n-грамм.

Основные особенности BLEU:

• Считает точность n-грамм (обычно от 1 до 4).
• Вводит штраф за слишком короткие переводы (brevity penalty).

Проблемы BLEU:

• Не учитывает семантическую близость, только точное совпадение слов.
• Чувствителен к стилю и формулировкам, что может занижать оценку хороших, но перефразированных переводов.
• Менее информативен для коротких предложений.

Применяется в задачах машинного перевода, суммаризации текста и других NLP-задачах, где важна оценка качества сгенерированного текста.