Wat is OWL-ViT?

OWL-ViT (Open-World Learning Vision Transformer) is een model dat de mogelijkheden van beeld- en tekstverwerking combineert om multimodale begripstaken op te lossen. Het is gebaseerd op de architectuur van Vision Transformer (ViT) en ontworpen voor een open wereld, dat wil zeggen, het kan objecten en concepten herkennen en koppelen die niet expliciet in de trainingsset aanwezig waren.

Het belangrijkste idee van OWL-ViT is het gebruik van grote taalmodellen en transformers om visuele kenmerken te koppelen aan tekstuele beschrijvingen, waardoor het model taken kan uitvoeren zoals zoeken naar objecten in een afbeelding via tekstuele zoekopdrachten, classificatie met een open set van klassen en het genereren van beschrijvingen.

Voorbeeld van toepassing: zoeken naar objecten in een afbeelding via een tekstuele zoekopdracht, zelfs als het object niet eerder bekend was bij het model.