Wat is Mask2Former en wat is de query-gebaseerde aanpak?

Mask2Former is een moderne aanpak voor beeldsegmentatietaken die verschillende typen segmentatie (bijvoorbeeld semantisch, instantie- en panoptische segmentatie) combineert in een enkele architectuur. Het belangrijkste idee is het gebruik van een query-gebaseerd mechanisme, geïnspireerd door transformers, om objectmaskers te voorspellen.

In plaats van een klassieke lijn- of pixelgebaseerde classifier formuleert Mask2Former segmentatie als een taak om een set maskers te zoeken met behulp van een set learnable queries. Elke query is verantwoordelijk voor het voorspellen van één masker en zijn klasse. Dit stelt het model in staat om objecten en achtergrond efficiënt te scheiden, en verschillende typen segmentatie in één framework te verwerken.

Het werkt ongeveer als volgt:

• De invoerafbeelding gaat door een backbone (bijvoorbeeld CNN of transformer) om kenmerken te extraheren.
• Deze kenmerken worden ingevoerd in een transformer, waar de learnable queries interageren met de kenmerken.
• De output voor elke query is een masker en een klasse.

Deze aanpak vereenvoudigt de architectuur en verbetert de kwaliteit van segmentatie dankzij de globale context en de flexibiliteit van de queries.