Co je BLEU a v jakých úlohách se používá? Jaké jsou problémy této metriky?

BLEU (Bilingvní Hodnocení Náhradník) je metrika pro hodnocení kvality strojového překladu a dalších úkolů generování textu. Měří, jak moc se generovaný text shoduje s jedním nebo více referenčními překlady na základě shody n-gramů.

Hlavní vlastnosti BLEU:

• Vypočítává přesnost n-gramů (obvykle od 1 do 4).
• Zavádí penalizaci za příliš krátké překlady (penalizace stručnosti).

Problémy BLEU:

• Nezohledňuje sémantickou blízkost, pouze přesnou shodu slov.
• Je citlivý na styl a formulace, což může podceňovat hodnocení dobrých, ale parafrázovaných překladů.
• Je méně informativní pro krátké věty.

Používá se v úlohách strojového překladu, shrnutí textu a dalších NLP úkolech, kde je důležitá kvalita generovaného textu.