Was ist ROUGE und wie unterscheidet sich ROUGE-L von ROUGE-N?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ist eine Sammlung von Metriken zur Bewertung der Qualität automatischer Zusammenfassungen und Textgenerierung, indem der generierte Text mit einer Referenz verglichen wird.

• ROUGE-N misst Übereinstimmungen von n-Grammen (Sequenzen von n Wörtern) zwischen dem generierten und dem Referenztext. Zum Beispiel, ROUGE-1 für Übereinstimmungen einzelner Wörter, ROUGE-2 für Wortpaare.

• ROUGE-L basiert auf der Länge der längsten gemeinsamen Teilsequenz (Longest Common Subsequence, LCS) zwischen zwei Texten. Es berücksichtigt die Wortreihenfolge, erfordert aber nicht, dass die Wörter zusammenhängend sind.

Auf diese Weise konzentriert sich ROUGE-N auf genaue Übereinstimmungen von n-Grammen, während ROUGE-L auf flexiblere Sequenzübereinstimmungen abzielt, was bei der Bewertung der Erhaltung der Struktur und des Sinns hilft.