Mi az a kép captioning és milyen metrikák értékelik (CIDEr)?

Kép leírása egy számítógépes látás és természetes nyelvfeldolgozás feladata, amely automatikusan generál egy leírást (feliratot) egy képhez. A modell bemenetként kap egy képet, és egy szöveget ad ki, amely leírja tartalmát.

A generált feliratok minőségének értékelésére különböző metrikákat használnak, ezek közül az egyik a CIDEr (Consensus-based Image Description Evaluation). Ez méri, hogy a generált leírás mennyire egyezik meg egy referencia leírásokból álló halmazzal, figyelembe véve a szavak és kifejezések gyakoriságát és jelentőségét.

A CIDEr jellemzői:

• Általában 1-től 4-ig terjedő n-gramok számolásán alapul.
• TF-IDF súlyozást alkalmaz a szavak fontosságának figyelembevételéhez.
• Magas CIDEr érték azt jelzi, hogy a generált leírás jól összhangban van a referencia leírásokkal.

Így a CIDEr segít objektíven értékelni a kép leíró modellek minőségét, figyelembe véve a leírások sokféleségét és relevanciáját.