Что такое grounding DINO и open-vocabulary detection?

Grounding DINO — это метод в области компьютерного зрения, который объединяет детекцию объектов с возможностью обработки открытого словаря (open-vocabulary detection). Это значит, что модель может обнаруживать объекты не только из заранее заданного набора классов, но и из произвольных текстовых описаний.

Open-vocabulary detection позволяет системе находить и классифицировать объекты, используя текстовые подсказки или описания, без необходимости обучать модель на каждом конкретном классе. Grounding DINO реализует это, связывая визуальные признаки с текстовыми эмбеддингами, что позволяет эффективно обнаруживать объекты по запросу на естественном языке.

Такой подход особенно полезен в задачах, где заранее неизвестен полный список объектов, которые нужно распознавать, например, в системах мультимодального поиска или интерактивных приложениях с пониманием контекста.