CLIP: idėja, nuostolių funkcija, mokymo metodas, kam jis naudojamas. Kokias atstumo matricas tarp įterpimų galima naudoti ir kurias naudojo autoriai?

CLIP (Contrastive Language–Image Pre-training) yra modelis, kurį sukūrė OpenAI, skirtas bendram vaizdų ir teksto reprezentacijų mokymui. Idėja yra išmokyti modelį susieti vaizdus ir jų tekstinius aprašymus bendroje įterpimo erdvėje.

Nuostolio funkcija: naudojama kontrastinė nuostolio funkcija (pavyzdžiui, InfoNCE), kuri maksimalizuoja panašumą tarp atitinkančių "vaizdas-tekstas" porų įterpimų ir minimizuoja nesusijusių porų panašumą.

Mokymo būdas: modelis mokomas didelėje porų (vaizdas, aprašymas) rinkinyje naudojant du koduotojus — vaizdams ir tekstui. Mokymas vyksta mažinant kontrastinę nuostolio funkciją, kuri skatina susijusių porų įterpimų artumą ir nesusijusių porų atskyrimą.

Naudojimas: CLIP taikomas daugialypės paieškos užduotims, vaizdų klasifikacijai be papildomo mokymo (zero-shot), aprašymų generavimui ir kitoms užduotims, kur reikia susieti vizualinę ir tekstinę informaciją.

Atstumo matricos: įvertinti panašumą tarp įterpimų dažniausiai naudojama kosinusinė panašumas, Euklido arba Manheteno atstumas. CLIP autoriai naudojo būtent kosinusinį panašumą, nes jis gerai tinka kryptims palyginti vektorių erdvėje ir normalizuoja vektorių ilgį.