Что такое архитектура CLIP?

Архитектура CLIP (Contrastive Language–Image Pre-training) — это модель глубокого обучения, разработанная для связывания изображений и текстов в общем пространстве признаков.

Основные компоненты:

• Два энкодера: один для изображений (обычно сверточная нейросеть или Vision Transformer), другой для текста (трансформер).
• Контрастивное обучение: модель обучается сопоставлять правильные пары изображений и описаний, максимизируя сходство между ними и минимизируя между несоответствующими.

Это позволяет использовать CLIP для задач, где нужно понимать связь между визуальной информацией и текстом, например, поиск изображений по описанию или генерация описаний к изображениям.

Пример использования:

import clip
import torch
from PIL import Image

model, preprocess = clip.load("ViT-B/32")
image = preprocess(Image.open("example.jpg")).unsqueeze(0)
text = clip.tokenize(["a photo of a cat", "a photo of a dog"])

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1)

print(probs)  # Вероятности соответствия изображения текстам

CLIP широко применяется в задачах мультимодального понимания и генерации.