Какво е captioning на изображения и кои метрики го оценяват (CIDEr)?

Описание на изображение е задача в областта на компютърното зрение и обработката на естествен език, която се състои в автоматично генериране на описание (подпис) към изображение. Моделът получава изображение като вход и издава текст, който описва съдържанието му.

За оценка на качеството на генерираните подписи се използват различни метрики, една от които е CIDEr (Consensus-based Image Description Evaluation). Тя измерва колко добре генерираното описание съвпада с множество референтни описания, като взема предвид честотата на думите и фразите, както и тяхната значимост.

Характеристики на CIDEr:

• Основава се на броенето на n-грами (обикновено от 1 до 4).
• Използва TF-IDF претегляне за вземане под внимание важността на думите.
• Висока стойност на CIDEr означава, че генерираното описание е добре съгласувано с референтните.

По този начин CIDEr помага обективно да се оцени качеството на моделите за описание на изображения, като взема предвид разнообразието и релевантността на описанията.