Ce este BLEU și în ce sarcini este utilizat? Care sunt problemele acestei metrici?

BLEU (Evaluarea Bilingvă de Înlocuire) este o metrică pentru evaluarea calității traducerii automate și a altor sarcini de generare a textului. Măsoară cât de bine corespunde textul generat cu unul sau mai multe texte de referință în funcție de potrivirea n-gramelor.

Caracteristici principale ale BLEU:

• Calculează acuratețea n-gramelor (de obicei de la 1 la 4).
• Introduce o penalizare pentru traducerile prea scurte (penalizare de concizie).

Probleme ale BLEU:

• Nu ia în considerare apropierea semantică, doar potrivirea exactă a cuvintelor.
• Este sensibil la stil și formulări, ceea ce poate subestima evaluarea traducerilor bune, dar parafrazate.
• Este mai puțin informativ pentru propoziții scurte.

Se aplică în sarcini de traducere automată, rezumare a textelor și alte sarcini NLP unde evaluarea calității textului generat este importantă.