Was ist Bildbeschriftung und welche Metriken bewerten sie (CIDEr)?

Bildbeschriftung ist eine Aufgabe der Computer Vision und der Verarbeitung natürlicher Sprache, bei der automatisch eine Beschreibung (Beschriftung) für ein Bild generiert wird. Das Modell erhält ein Bild als Eingabe und gibt einen Text aus, der den Inhalt beschreibt.

Zur Bewertung der Qualität der generierten Beschriftungen werden verschiedene Metriken verwendet, eine davon ist CIDEr (Consensus-based Image Description Evaluation). Sie misst, wie gut die generierte Beschreibung mit einer Menge von Referenzbeschreibungen übereinstimmt, wobei die Häufigkeit von Wörtern und Phrasen sowie deren Bedeutung berücksichtigt werden.

Eigenschaften von CIDEr:

• Basierend auf der Zählung von n-Grammen (in der Regel von 1 bis 4).
• Verwendet TF-IDF-Gewichtung, um die Wichtigkeit der Wörter zu berücksichtigen.
• Ein hoher CIDEr-Wert bedeutet, dass die generierte Beschreibung gut mit den Referenzbeschreibungen übereinstimmt.

Auf diese Weise hilft CIDEr, die Qualität von Bildbeschriftungsmodellen objektiv zu bewerten, wobei die Vielfalt und Relevanz der Beschreibungen berücksichtigt werden.