Kas ir BLEU un kādos uzdevumos to izmanto? Kādas ir šīs metriku problēmas?

BLEU (Bilingvālā novērtēšanas aizstājējs) ir metriks, ko izmanto mašīntulkošanas un citu teksta ģenerēšanas uzdevumu kvalitātes novērtēšanai. Tas mēra, cik labi ģenerētais teksts atbilst vienam vai vairākiem atsauces tulkojumiem, pamatojoties uz n-gramu sakritību.

BLEU galvenās īpašības:

• Aprēķina n-gramu precizitāti (parasti no 1 līdz 4).
• Ievieš sodu par pārāk īsiem tulkojumiem (īsuma sodu).

BLEU problēmas:

• Neņem vērā semantisko tuvību, tikai precīzu vārdu sakritību.
• Ir jutīgs pret stilu un formulējumiem, kas var novērtējumu samazināt par labu, bet parafrazētus tulkojumus.
• Mazāk informatīvs īsām teikumiem.

To izmanto mašīntulkošanā, teksta kopsavilkumos un citās NLP uzdevumos, kur ir svarīga ģenerētā teksta kvalitātes novērtēšana.