Идеяи CLIP ва зиёнати муқобилонаи тасвир-матнро шарҳ диҳед.

CLIP (Қарсыласу Тіл-Рәсім Алдын Ала Тренинг) — бұл модель, ол жалпы сипаттамалар кеңістігінде суреттер мен мәтін сипаттамаларын байланыстыру үшін оқытылады. Идея — әр жұпқа нақты белгілерсіз сурет пен оның сипаттамасының сәйкестігін түсінуді үйрету.

Қарсыласу сурет-мәтін жоғалтуы — бұл модельге сәйкес келетін суреттер мен мәтіндердің векторлық көрсетілімдерін жақындастыруды және сәйкес келмегендерді алыстатуды ынталандыратын жоғалту функциясы. Бұл әдетте, әр сурет үшін модель дұрыс мәтінмен ұқсастығын барынша арттыруға және қате мәтіндермен азайтуға тырысатын қарсыласу оқыту механизмі арқылы жүзеге асырылады.

Жалпы жұмыс істеу принципі: бізде жұптар (сурет, мәтін) партиясы бар, модель оларды векторларға кодтайды, содан кейін барлық суреттер мен барлық мәтіндер арасындағы косинус ұқсастығын есептейді. Жоғалту дұрыс жұптардың жоғары ұқсастығын қамтамасыз етеді, ал қателер — төмен.

Бұл модельге визуалды және тілдік ақпаратты тиімді байланыстыруға мүмкіндік береді, бұл көпмодальды түсінуге арналған тапсырмалар үшін пайдалы.