Ce este captioning-ul de imagini și ce metrici îl evaluează (CIDEr)?

Descrierea imaginilor este o sarcină de vedere computerizată și procesare a limbajului natural, care constă în generarea automată a unei descrieri (legendă) pentru o imagine. Modelul primește o imagine ca intrare și produce un text care o descrie.

Pentru a evalua calitatea descrierilor generate, se folosesc diferite metrici, una dintre ele fiind CIDEr (Consensus-based Image Description Evaluation). Aceasta măsoară cât de bine corespunde descrierea generată cu un set de descrieri de referință, luând în considerare frecvența cuvintelor și frazelor, precum și importanța lor.

Caracteristici CIDEr:

• Se bazează pe numărarea n-gramelor (de obicei de la 1 la 4).
• Utilizează ponderare TF-IDF pentru a ține cont de importanța cuvintelor.
• O valoare ridicată a CIDEr indică faptul că descrierea generată este bine aliniată cu descrierile de referință.

Astfel, CIDEr ajută la evaluarea obiectivă a calității modelelor de descriere a imaginilor, luând în considerare diversitatea și relevanța descrierilor.