Cos'è BLEU e in quali compiti viene applicato? Quali sono i problemi di questa metrica?

BLEU (Valutazione Bilingue Sostitutiva) è una metrica per valutare la qualità della traduzione automatica e di altri compiti di generazione del testo. Misura quanto il testo generato corrisponde a uno o più testi di riferimento in base alla corrispondenza di n-grammi.

Caratteristiche principali di BLEU:

• Calcola la precisione degli n-grammi (generalmente da 1 a 4).
• Introduce una penalità per traduzioni troppo corte (penalità di brevità).

Problemi di BLEU:

• Non considera la prossimità semantica, solo la corrispondenza esatta delle parole.
• È sensibile allo stile e alle formulazioni, il che può sottostimare la valutazione di traduzioni buone ma parafrasate.
• È meno informativo per frasi corte.

Viene utilizzato in compiti di traduzione automatica, riassunto di testi e altri compiti di NLP dove è importante valutare la qualità del testo generato.