CLIP: идея, функция на загуба, метод на обучение, за какво се използва. Какви метрики за разстояние между ембедингите могат да се използват и кои са приложили авторите?

CLIP (Contrastive Language–Image Pre-training) е модел, разработен от OpenAI за съвместно обучение на представяния на изображения и текст. Идеята е да се научи моделът да съпоставя изображения и техните текстови описания в общо пространство за вграждане.

Функция на загубата: използва се контрастивна загуба (например, InfoNCE), която максимизира сходството между вградените представяния на съответстващите "изображение-текст" двойки и минимизира сходството с несъвпадащи двойки.

Начин на обучение: моделът се обучава върху голям набор от двойки (изображение, описание) с помощта на два енкодера — за изображения и за текст. Обучението се извършва чрез минимизиране на контрастивната функция на загубата, която насърчава близостта на вградените представяния на свързаните двойки и разделянето на несвързаните.

Използване: CLIP се прилага за задачи на мултимодално търсене, класификация на изображения без допълнително обучение (zero-shot), генериране на описания и други задачи, където е необходимо да се свържат визуална и текстова информация.

Метрични разстояния: за измерване на сходството между вградените представяния обикновено се използва косинусна сходност, евклидово или Манхатънско разстояние. Авторите на CLIP използваха именно косинусна сходност, тъй като тя е подходяща за сравняване на посоки във векторното пространство и нормализира дължината на векторите.