CLIP: ideja, funkcija izgube, metoda učenja, za kaj se uporablja. Katere metrike razdalje med vdelavami je mogoče uporabiti in katere so uporabili avtorji?

CLIP (Contrastive Language–Image Pre-training) je model vyvinutý spoločnosťou OpenAI na spoločné učenie reprezentácií obrázkov a textu. Myšlienka je naučiť model spájať obrázky a ich textové popisy v spoločnom priestore vnorenia.

Funkcia straty: používa sa kontrastívna strata (napríklad, InfoNCE), ktorá maximalizuje podobnosť medzi vnořeními "obrázok-text" zodpovedajúcimi si a minimalizuje podobnosť s nezodpovedajúcimi pármi.

Spôsob učenia: model sa trénuje na veľkom množstve párov (obrázok, popis) pomocou dvoch enkodérov — pre obrázky a pre text. Učenie prebieha minimalizáciou kontrastívnej funkcie straty, ktorá podporuje blízkosť vnoření spojených párov a oddelenie nezodpovedajúcich.

Použitie: CLIP sa používa na úlohy multimodálneho vyhľadávania, klasifikácie obrázkov bez ďalšieho učenia (zero-shot), generovania popisov a ďalších úloh, kde je potrebné spojiť vizuálne a textové informácie.

Metriky vzdialenosti: na meranie podobnosti medzi vnořeními sa zvyčajne používa kosínusová podobnosť, euklidovská alebo Manhattanova vzdialenosť. Autori CLIP použili špecificky kosínusovú podobnosť, pretože je vhodná na porovnávanie smerov v priestore vektorov a normalizuje dĺžku vektorov.