Каква е архитектурата на CLIP?

Архитектурата на CLIP (Contrastive Language–Image Pre-training) е модел за дълбоко обучение, разработен да свързва изображения и текстове в общо пространство на признаците.

Основни компоненти:

• Два енкодера: един за изображения (обикновено конволюционна невронна мрежа или Vision Transformer) и един за текст (transformer).
• Контрастивно обучение: моделът се обучава да съпоставя правилно двойки изображения и описания, като максимизира сходството между тях и минимизира несъответствията.

Това позволява използването на CLIP за задачи, където е необходимо разбиране на връзката между визуална информация и текст, например търсене на изображения по описание или генериране на описания към изображения.

Пример за използване:

import clip
import torch
from PIL import Image

model, preprocess = clip.load("ViT-B/32")
image = preprocess(Image.open("example.jpg")).unsqueeze(0)
text = clip.tokenize(["снимка на котка", "снимка на куче"])

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1)

print(probs)  # Вероятности за съвпадение между изображението и текстовете

CLIP се използва широко в задачи за мултимодално разбиране и генериране.