CLIP: ιδέα, λειτουργία απώλειας, μέθοδος εκπαίδευσης, για τι χρησιμοποιείται. Ποιες μετρικές απόστασης μεταξύ ενσωματώσεων μπορούν να χρησιμοποιηθούν και ποιες χρησιμοποίησαν οι συγγραφείς;

CLIP (Contrastive Language–Image Pre-training) είναι ένα μοντέλο που αναπτύχθηκε από την OpenAI για την κοινή εκπαίδευση αναπαραστάσεων εικόνων και κειμένου. Η ιδέα είναι να διδάξει το μοντέλο να συσχετίζει εικόνες και τις περιγραφές τους σε κείμενο σε έναν κοινό χώρο ενσωμάτωσης.

Λειτουργία απώλειας: χρησιμοποιείται μια αντιθετική απώλεια (π.χ., InfoNCE), η οποία μεγιστοποιεί την ομοιότητα μεταξύ των ενσωματώσεων των ζευγών "εικόνα-κείμενο" που αντιστοιχούν και ελαχιστοποιεί την ομοιότητα με μη αντιστοιχούντα ζευγάρια.

Τρόπος εκπαίδευσης: το μοντέλο εκπαιδεύεται σε ένα μεγάλο σύνολο ζευγών (εικόνα, περιγραφή) χρησιμοποιώντας δύο κωδικοποιητές — για εικόνες και για κείμενο. Η εκπαίδευση πραγματοποιείται με ελαχιστοποίηση μιας αντιθετικής λειτουργίας απώλειας, η οποία ενθαρρύνει την εγγύτητα των ενσωματώσεων των συνδεδεμένων ζευγών και τον διαχωρισμό των μη συνδεδεμένων.

Χρήση: Το CLIP εφαρμόζεται σε εργασίες πολυτροπικής αναζήτησης, ταξινόμησης εικόνων χωρίς επιπλέον εκπαίδευση (zero-shot), δημιουργίας περιγραφών και άλλων εργασιών όπου χρειάζεται να συνδέσει οπτικές και κειμενικές πληροφορίες.

Μετρικές απόστασης: για τη μέτρηση της ομοιότητας μεταξύ ενσωματώσεων, χρησιμοποιούνται συνήθως η συσχέτιση συνημίτονου, η Ευκλείδεια ή η Manhattan απόσταση. Οι συγγραφείς του CLIP χρησιμοποίησαν ειδικά τη συσχέτιση συνημίτονου, καθώς είναι κατάλληλη για τη σύγκριση κατευθύνσεων στον διανυσματικό χώρο και κανονικοποιεί το μήκος των διανυσμάτων.