Kas ir OWL-ViT?

OWL-ViT (Open-World Learning Vision Transformer) ir modelis, kas apvieno vizuālo un teksta apstrādes iespējas, lai risinātu daudzmodālo sapratnes uzdevumus. Tas balstās uz Vision Transformer (ViT) arhitektūru un ir paredzēts atvērtai pasaulei, tas ir, spēj atpazīt un sasaistīt objektus un koncepcijas, kas nebija skaidri pārstāvētas apmācību datu kopā.

Galvenā OWL-ViT ideja ir izmantot lielus valodu modeļus un transformatorus, lai sasaistītu vizuālās īpašības ar teksta aprakstiem, ļaujot modelim veikt uzdevumus, piemēram, meklēt objektus attēlā pēc teksta pieprasījumiem, klasificēt ar atvērtu klases kopumu un ģenerēt aprakstus.

Piemērs: objektu meklēšana attēlā pēc teksta pieprasījuma, pat ja objekts iepriekš nebija zināms modelim.