Τι είναι η αρχιτεκτονική CLIP;

Η αρχιτεκτονική CLIP (Contrastive Language–Image Pre-training) είναι ένα μοντέλο βαθιάς μάθησης που έχει σχεδιαστεί για να συνδέει εικόνες και κείμενα σε έναν κοινό χώρο χαρακτηριστικών.

Βασικά συστατικά:

• Δύο κωδικοποιητές: ένας για εικόνες (συνήθως ένα συνελικτικό νευρωνικό δίκτυο ή Vision Transformer) και ένας για κείμενο (transformer).
• Αντίθετη μάθηση: το μοντέλο μαθαίνει να αντιστοιχίζει σωστά ζεύγη εικόνων και περιγραφών, μεγιστοποιώντας την ομοιότητα μεταξύ τους και ελαχιστοποιώντας την μεταξύ των μη σχετικών.

Αυτό επιτρέπει τη χρήση του CLIP σε εργασίες όπου απαιτείται κατανόηση της σχέσης μεταξύ οπτικών πληροφοριών και κειμένου, όπως η αναζήτηση εικόνων βάσει περιγραφής ή η δημιουργία περιγραφών για εικόνες.

Παράδειγμα χρήσης:

import clip
import torch
from PIL import Image

model, preprocess = clip.load("ViT-B/32")
image = preprocess(Image.open("example.jpg")).unsqueeze(0)
text = clip.tokenize(["μια φωτογραφία μιας γάτας", "μια φωτογραφία ενός σκύλου"])

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1)

print(probs)  # Πιθανότητες αντιστοιχίας εικόνας και κειμένων

Το CLIP χρησιμοποιείται ευρέως σε εργασίες πολυτροπικής κατανόησης και δημιουργίας.