Τι είναι η περιγραφή εικόνας και ποιες μετρήσεις την αξιολογούν (CIDEr);

Ο σχολιασμός εικόνων είναι μια εργασία στον τομέα της υπολογιστικής όρασης και της επεξεργασίας φυσικής γλώσσας, η οποία περιλαμβάνει τη αυτόματη δημιουργία περιγραφής (υπομνημάτων) για μια εικόνα. Το μοντέλο λαμβάνει μια εικόνα ως είσοδο και παράγει ένα κείμενο που περιγράφει το περιεχόμενό της.

Για την αξιολόγηση της ποιότητας των παραγόμενων περιγραφών, χρησιμοποιούνται διάφορα κριτήρια, ένα από τα οποία είναι το CIDEr (Consensus-based Image Description Evaluation). Μετρά πόσο καλά η παραγόμενη περιγραφή συμφωνεί με ένα σύνολο αναφορικών περιγραφών, λαμβάνοντας υπόψη τη συχνότητα των λέξεων και φράσεων, καθώς και τη σημασία τους.

Χαρακτηριστικά του CIDEr:

• Βασίζεται στον υπολογισμό n-γραμμών (συνήθως από 1 έως 4).
• Χρησιμοποιεί σταθμίσεις TF-IDF για να λαμβάνει υπόψη τη σημασία των λέξεων.
• Μια υψηλή τιμή CIDEr υποδηλώνει ότι η παραγόμενη περιγραφή συμφωνεί καλά με τις αναφορικές περιγραφές.

Έτσι, το CIDEr βοηθά στην αντικειμενική αξιολόγηση της ποιότητας των μοντέλων περιγραφής εικόνων, λαμβάνοντας υπόψη την ποικιλομορφία και τη σχετικότητα των περιγραφών.