Šta je CLIP arhitektura?

Архитектура CLIP (Contrastive Language–Image Pre-training) је модел дубоког учења развијен за повезивање слика и текста у заједничком простору карактеристика.

Главне компоненте:

• Два енкодера: један за слике (обично конволуционална неуронска мрежа или Vision Transformer) и други за текст (transformer).
• Контрастно учење: модел учи да правилно подудара парове слика и описа, максимизирајући сличност између њих и минимизирајући онај између неподударних.

Ово омогућава коришћење CLIP-а за задатке где је потребно разумевање везе између визуелних информација и текста, као што су претрага слика по опису или генерисање описа за слике.

Пример употребе:

import clip
import torch
from PIL import Image

model, preprocess = clip.load("ViT-B/32")
image = preprocess(Image.open("example.jpg")).unsqueeze(0)
text = clip.tokenize(["снимак мачке", "снимак пса"])

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1)

print(probs)  # Вероватноће подударања слике и текста

CLIP се широко користи у задацима мултимодалног разумевања и генерисања.