Was ist BLEU und in welchen Aufgaben wird es angewendet? Welche Probleme hat diese Metrik?

BLEU (Bilingual Evaluation Understudy) ist eine Metrik zur Bewertung der Qualität maschineller Übersetzungen und anderer Textgenerierungsaufgaben. Sie misst, wie gut der generierte Text mit einem oder mehreren Referenztexten in Bezug auf die Übereinstimmung von n-Grammen übereinstimmt.

Hauptmerkmale von BLEU:

• Berechnet die Genauigkeit von n-Grammen (in der Regel von 1 bis 4).
• Führt eine Strafe für zu kurze Übersetzungen ein (Brevity Penalty).

Probleme von BLEU:

• Berücksichtigt keine semantische Nähe, nur die genaue Übereinstimmung der Wörter.
• Ist empfindlich gegenüber Stil und Formulierungen, was die Bewertung guter, aber umformulierte Übersetzungen unterschätzen kann.
• Ist weniger informativ für kurze Sätze.

Wird in Aufgaben der maschinellen Übersetzung, Textzusammenfassung und anderen NLP-Aufgaben eingesetzt, bei denen die Bewertung der Qualität des generierten Textes wichtig ist.