CLIP: ideia, função de perda, método de treino, para que é usado. Quais métricas de distância entre embeddings podem ser usadas e quais os autores usaram?

CLIP (Contrastive Language–Image Pre-training) é um modelo desenvolvido pela OpenAI para o aprendizado conjunto de representações de imagens e texto. A ideia é ensinar ao modelo a relacionar imagens e suas descrições textuais em um espaço de embedding comum.

Função de perda: é utilizada uma perda contrastiva (por exemplo, InfoNCE), que maximiza a similaridade entre os embeddings de pares "imagem-texto" correspondentes, e minimiza a similaridade com pares não relacionados.

Modo de treinamento: o modelo é treinado em um grande conjunto de pares (imagem, legenda) usando dois codificadores — para imagens e para texto. O treinamento ocorre minimizando uma função de perda contrastiva, que incentiva a proximidade dos embeddings de pares relacionados e a separação dos embeddings não relacionados.

Uso: CLIP é aplicado em tarefas de busca multimodal, classificação de imagens sem treinamento adicional (zero-shot), geração de descrições e outras tarefas onde é necessário vincular informações visuais e textuais.

Métricas de distância: para medir a similaridade entre embeddings, geralmente se usa a similaridade cosseno, a distância euclidiana ou a distância de Manhattan. Os autores do CLIP usaram especificamente a similaridade cosseno, pois ela é adequada para comparar direções no espaço vetorial e normaliza o comprimento dos vetores.