CLIP: идея, функция потерь, способ обучения, для чего используется. Какие метрики дистанции между эмбеддингами можно использовать и какую применяли авторы?

CLIP (Contrastive Language–Image Pre-training) — это модель, разработанная OpenAI для совместного обучения представлений изображений и текста. Идея в том, чтобы научить модель сопоставлять изображения и их текстовые описания в общем эмбеддинг-пространстве.

Функция потерь: используется контрастивная loss (например, InfoNCE), которая максимизирует сходство между эмбеддингами пар "изображение-текст", соответствующих друг другу, и минимизирует сходство с несоответствующими парами.

Способ обучения: модель обучается на большом наборе пар (изображение, подпись) с помощью двух энкодеров — для изображений и для текста. Обучение происходит путем минимизации контрастивной функции потерь, которая поощряет близость эмбеддингов связанных пар и разнесение эмбеддингов несвязанных.

Использование: CLIP применяется для задач мультимодального поиска, классификации изображений без дополнительного обучения (zero-shot), генерации описаний и других задач, где нужно связать визуальную и текстовую информацию.

Метрики дистанции: для измерения сходства между эмбеддингами обычно используют косинусное сходство, евклидову или манхэттенскую дистанцию. Авторы CLIP применяли именно косинусное сходство, так как оно хорошо подходит для сравнения направлений в векторном пространстве и нормализует длину векторов.