Какво е BLEU и в кои задачи се използва? Какви са проблемите на тази метрика?

BLEU (Билингвална Оценка на Заменителя) е метрика за оценка на качеството на машинния превод и други задачи за генериране на текст. Тя измерва колко добре генерираният текст съвпада с един или няколко референтни превода въз основа на съвпадението на n-грамите.

Основни характеристики на BLEU:

• Изчислява точността на n-грамите (обикновено от 1 до 4).
• Въвежда наказание за твърде кратки преводи (наказание за краткост).

Проблеми на BLEU:

• Не взема предвид семантичната близост, а само точното съвпадение на думите.
• Е чувствителен към стил и формулировки, което може да занижи оценката за добри, но перефразирани преводи.
• По-малко информативен за кратки изречения.

Използва се в задачи за машинен превод, обобщаване на текстове и други NLP задачи, където е важна оценката на качеството на генерирания текст.