CLIP: идея, функсияи зиён, усули омӯзиш, барои чӣ истифода мешавад. Кадом метрикҳои фосила байни эмбеддингҳоро метавон истифода бурд ва кадомҳоро муаллифон истифода бурданд?

CLIP (Contrastive Language–Image Pre-training) моделест, ки OpenAI барои омӯзиши муштаракии тасвирҳо ва матн таҳия кардааст. Ният ин аст, ки моделро омӯзонем, ки тасвирҳо ва тавсифҳои матнӣ дар як фазои умумии вурудот мувофиқ кунанд.

Функсияи талафот: талафоти муқоисавӣ (масалан, InfoNCE) истифода мешавад, ки мувофиқати байни вурудотҳои "тасвир-матн"-ро, ки мувофиқанд, зиёд мекунад ва мувофиқ набудани онҳоро кам мекунад.

Раванди омӯзиш: модел дар маҷмӯи бузурги ҷуфтҳо (тасвир, тавсиф) бо истифода аз ду кодекор — барои тасвирҳо ва барои матн — омӯзонида мешавад. Омӯзиш тавассути кам кардани функсияи талафоти муқоисавӣ, ки наздикӣ ва ҷудоии вурудотҳои пайвасташударо ҳавасманд мекунад, сурат мегирад.

Истифода: CLIP барои вазифаҳои ҷустуҷӯи бисёрмодалӣ, класификатсияи тасвирҳо бе омӯзиши иловагӣ (zero-shot), тавлиди тавсифҳо ва дигар вазифаҳое, ки дар онҳо лозим аст, ки маълумоти визуалӣ ва матнӣ пайваст шаванд, истифода мешавад.

Метрҳои фосила: барои чен кардани мувофиқат байни вурудотҳо, одатан, истифодаи мувофиқатии косинусӣ, фосилаи Евклидӣ ё Манхэттенӣ мешавад. Муаллифони CLIP махсусан истифодаи мувофиқатии косинусиро истифода бурданд, зеро он барои муқоиса кардани самтҳо дар фазои векторӣ ва нормализатсияи дарозии векторҳо мувофиқ аст.