Czym jest BLEU i w jakich zadaniach jest stosowany? Jakie są problemy tej metryki?

BLEU (Bilingual Evaluation Understudy) to miara służąca do oceny jakości tłumaczeń maszynowych i innych zadań generowania tekstu. Mierzy, jak bardzo wygenerowany tekst pokrywa się z jednym lub wieloma tekstami referencyjnymi na podstawie dopasowania n-gramów.

Główne cechy BLEU:

• Oblicza dokładność n-gramów (zwykle od 1 do 4).
• Wprowadza karę za zbyt krótkie tłumaczenia (kara za zwięzłość).

Problemy BLEU:

• Nie uwzględnia semantycznej bliskości, tylko dokładne dopasowanie słów.
• Jest wrażliwy na styl i sformułowania, co może zaniżać ocenę dobrych, ale parafrazowanych tłumaczeń.
• Jest mniej informatywny dla krótkich zdań.

Stosowany w zadaniach tłumaczenia maszynowego, streszczania tekstów i innych zadaniach NLP, gdzie ważna jest ocena jakości generowanego tekstu.