CLIP: ideja, zaudējumu funkcija, apmācības metode, kādam mērķim tas tiek izmantots. Kādas attāluma metriku starp iekļāvumiem var izmantot un kuras izmantoja autori?

CLIP (Contrastive Language–Image Pre-training) ir modelis, ko izstrādājusi OpenAI, kas ļauj kopīgi mācīties attēlu un teksta reprezentācijas. Ideja ir iemācīt modelim sasaistīt attēlus un to tekstuālās aprakstus kopīgā iekļaušanas telpā.

Zuduma funkcija: tiek izmantota kontrastīvā zuduma funkcija (piemēram, InfoNCE), kas maksimizē līdzību starp atbilstošajiem "attēls-teksts" pāriem iekļaušanas reprezentācijās un minimizē nesaderīgo pāru līdzību.

Mācīšanās veids: modelis tiek apmācīts uz lielas pāru kopas (attēls, apraksts), izmantojot divus kodētājus — attēliem un tekstam. Apmācība notiek, minimizējot kontrastīvās zuduma funkciju, kas veicina saistīto pāru iekļaušanas tuvināšanos un nesasaistīto pāru atdalīšanu.

Lietojums: CLIP tiek izmantots daudzmodalitātes meklēšanas uzdevumiem, attēlu klasifikācijai bez papildu apmācības (zero-shot), aprakstu ģenerēšanai un citām uzdevumiem, kur ir nepieciešams sasaistīt vizuālo un tekstuālo informāciju.

Attāluma metriku: parasti izmanto kosinusa līdzību, Eiklida vai Manhetena attālumu, lai mērotu līdzību starp iekļaušanām. CLIP autori īpaši izmantojuši kosinusa līdzību, jo tā ir piemērota virzienu salīdzināšanai vektoru telpā un normalizē vektoru garumu.