CLIP: ötlet, veszteségfüggvény, tanítási módszer, mire használják. Milyen távolsági metrikákat lehet használni az embeddingek között, és melyiket alkalmazták a szerzők?

A CLIP (Contrastive Language–Image Pre-training) egy modell, amelyet az OpenAI fejlesztett ki az ábrázolások és a szöveg közös tanulására. Az ötlet az, hogy megtanítsuk a modellnek, hogy azonosítsa a képeket és azok szöveges leírásait egy közös beágyazási térben.

Veszteségfüggvény: kontrasztív veszteséget (például InfoNCE-t) alkalmaznak, amely maximalizálja az egyező "kép-szöveg" párok beágyazásainak hasonlóságát, és minimalizálja a nem egyező párok hasonlóságát.

Tanulási módszer: a modellt nagy páros halmazokon tanítják két kódoló segítségével — a képekhez és a szöveghez. A tanulás a kontrasztív veszteségfüggvény minimalizálásával történik, amely ösztönzi a kapcsolódó párok beágyazásainak közelségét és a nem kapcsolódóakéktól való elkülönülést.

Alkalmazás: a CLIP multimodális keresési feladatokra, képek osztályozására további tanítás nélkül (zero-shot), leírások generálására és más feladatokra használható, ahol vizuális és szöveges információkat kell összekapcsolni.

Távolságmérő metrikák: az általában használt mérőszámok a beágyazások közötti hasonlóság mérésére a koszinusz-hasonlóság, az Euklideszi vagy a Manhattan-távolság. A CLIP szerzői kifejezetten a koszinusz-hasonlóságot alkalmazták, mivel ez jól alkalmas irányok összehasonlítására a vektortérben, és normalizálja a vektorok hosszát.