OWL-ViT nima?

OWL-ViT (Open-World Learning Vision Transformer) — bu multimodal tushunishni hal qilish uchun tasvir va matn imkoniyatlarini birlashtiradigan model. U Vision Transformer (ViT) arxitekturasiga asoslangan bo‘lib, ochiq dunyo uchun mo‘ljallangan, ya’ni o‘qitish to‘plamida aniq ko‘rsatilmagan ob’ektlar va tushunchalarni tanib, bog‘lay oladi.

OWL-ViT ning asosiy g‘oyasi katta til modellari va transformatorlardan foydalanib, vizual xususiyatlarni matn tavsiflari bilan bog‘lashdir, bu modelga tasvirda ob’ektlarni matnli so‘rovlar bilan qidirish, ochiq sinf to‘plami bilan tasniflash va tavsiflar yaratish imkonini beradi.

Qo‘llanma misoli: matnli so‘rov orqali tasvirda ob’ektlarni qidirish, hatto ob’ekt model tomonidan oldindan ma’lum bo‘lmasa ham.