O que é grounding DINO e deteção de vocabulário aberto?

Grounding DINO é um método na área de visão computacional que combina a deteção de objetos com a capacidade de processamento de vocabulário aberto (detecção de vocabulário aberto). Isso significa que o modelo pode detectar objetos não apenas de um conjunto de classes predefinidas, mas também de descrições de texto arbitrárias.

A deteção de vocabulário aberto permite que o sistema encontre e classifique objetos usando dicas ou descrições em texto, sem a necessidade de treinar o modelo para cada classe específica. Grounding DINO realiza isso vinculando as características visuais aos embeddings de texto, o que permite detectar objetos de forma eficiente mediante uma consulta em linguagem natural.

Essa abordagem é especialmente útil em tarefas onde a lista completa de objetos a reconhecer não é conhecida de antemão, por exemplo, em sistemas de busca multimodal ou em aplicações interativas com compreensão de contexto.