Czym jest opis obrazu i jakie metryki go oceniają (CIDEr)?

Opis obrazka to zadanie z zakresu widzenia komputerowego i przetwarzania języka naturalnego, które polega na automatycznym generowaniu opisu (podpisu) do obrazu. Model otrzymuje obraz jako wejście i generuje tekst opisujący jego zawartość.

Do oceny jakości wygenerowanych podpisów używa się różnych metryk, z których jedną jest CIDEr (Consensus-based Image Description Evaluation). Mierzy ona, jak bardzo wygenerowany opis pokrywa się z zestawem opisów referencyjnych, uwzględniając częstotliwość słów i fraz oraz ich znaczenie.

Cechy CIDEr:

• Opiera się na zliczaniu n-gramów (zwykle od 1 do 4).
• Używa ważenia TF-IDF, aby uwzględnić ważność słów.
• Wysoka wartość CIDEr oznacza, że wygenerowany opis jest dobrze zgodny z opisami referencyjnymi.

W ten sposób CIDEr pomaga obiektywnie ocenić jakość modeli opisów obrazów, uwzględniając różnorodność i relewantność opisów.