Kas yra vaizdo aprašymas ir kokios metrikos jį vertina (CIDEr)?

Paveikslėlio aprašymas yra užduotis kompiuterinio matymo ir natūralaus kalbos apdorojimo srityje, kuri apima automatinį aprašymo (antraštės) generavimą paveikslėliui. Modelis gauna įvestį paveikslėlį ir išveda tekstą, apibūdinantį jo turinį.

Vertinant sugeneruotų aprašymų kokybę, naudojamos įvairios metrikos, viena iš jų yra CIDEr (Consensus-based Image Description Evaluation). Ji matuoja, kiek gerai sugeneruotas aprašymas atitinka referencinių aprašymų rinkinį, atsižvelgiant į žodžių ir frazių dažnumą bei jų svarbą.

CIDEr ypatybės:

• Pagrįsta n-gramų skaičiavimu (paprastai nuo 1 iki 4).
• Naudoja TF-IDF svorį, kad atsižvelgtų į žodžių svarbą.
• Aukštas CIDEr reikšmė rodo, kad sugeneruotas aprašymas gerai suderintas su referenciniais aprašymais.

Taip CIDEr padeda objektyviai įvertinti paveikslėlio aprašymo modelių kokybę, atsižvelgiant į aprašymų įvairovę ir aktualumą.