Wat is image captioning en welke metrics worden gebruikt om het te evalueren (CIDEr)?

Bijschrifting van afbeeldingen is een taak op het gebied van computer vision en natuurlijke taalverwerking, die bestaat uit het automatisch genereren van een beschrijving (bijschrift) bij een afbeelding. Het model ontvangt een afbeelding en genereert een tekst die de inhoud beschrijft.

Om de kwaliteit van gegenereerde bijschriften te beoordelen, worden verschillende metrics gebruikt, een daarvan is CIDEr (Consensus-based Image Description Evaluation). Het meet hoe goed de gegenereerde beschrijving overeenkomt met een set referentieomschrijvingen, rekening houdend met de frequentie van woorden en zinnen, evenals hun belang.

Kenmerken van CIDEr:

• Gebaseerd op het tellen van n-grammen (meestal van 1 tot 4).
• Gebruikt TF-IDF-gewichten om het belang van woorden te wegen.
• Een hoge CIDEr-waarde betekent dat de gegenereerde beschrijving goed overeenkomt met de referentieomschrijvingen.

Op deze manier helpt CIDEr om objectief de kwaliteit van beeldbeschrijvingsmodellen te beoordelen, rekening houdend met de diversiteit en relevantie van de beschrijvingen.