CLIP: idee, verliesfunctie, trainingsmethode, waar wordt het voor gebruikt. Welke afstandsmetriek tussen embeddings kunnen worden gebruikt en welke hebben de auteurs toegepast?

CLIP (Contrastive Language–Image Pre-training) is een model ontwikkeld door OpenAI voor gezamenlijke training van beeld- en tekstrepresentaties. Het idee is om het model te leren om beelden en hun tekstbeschrijvingen in een gemeenschappelijke embedding-ruimte te koppelen.

Verliesfunctie: er wordt een contrastieve verliesfunctie gebruikt (bijvoorbeeld InfoNCE), die de gelijkenis maximaliseert tussen de embeddings van "beeld-tekst" paren die overeenkomen, en de gelijkenis minimaliseert met niet-overeenkomende paren.

Trainingsmethode: het model wordt getraind op een grote set paren (beeld, bijschrift) met behulp van twee encoders — voor beelden en voor tekst. Het trainen gebeurt door het minimaliseren van een contrastieve verliesfunctie, die de nabijheid van de embeddings van verbonden paren bevordert en de scheiding van niet-verbonden paren.

Gebruik: CLIP wordt toegepast voor multimodale zoekopdrachten, beeldclassificatie zonder extra training (zero-shot), het genereren van beschrijvingen en andere taken waarbij visuele en tekstuele informatie gekoppeld moeten worden.

Afstandsmaten: om de gelijkenis tussen embeddings te meten, wordt meestal de cosinusgelijkenis, Euclidische of Manhattan-afstand gebruikt. De auteurs van CLIP gebruikten specifiek de cosinusgelijkenis, omdat deze geschikt is voor het vergelijken van richtingen in de vectorruimte en de lengte van de vectoren normaliseert.