Czym jest Mask2Former i jakie jest jego podejście oparte na zapytaniach?

Mask2Former to nowoczesne podejście do zadań segmentacji obrazów, które łączy różne typy segmentacji (np. semantyczną, instancji i panoptyczną) w jedną architekturę. Głównym pomysłem jest użycie mechanizmu opartego na zapytaniach (query-based), inspirowanego transformerami, do przewidywania masek obiektów.

Zamiast klasycznego klasyfikatora liniowego lub pikselowego, Mask2Former formułuje segmentację jako zadanie wyszukiwania zestawu masek za pomocą zestawu uczących się zapytań. Każde zapytanie odpowiada za przewidywanie jednej maski i jej klasy. Pozwala to modelowi skutecznie oddzielić obiekty od tła oraz obsługiwać różne typy segmentacji w ramach jednej struktury.

Działa to mniej więcej tak:

• Obraz wejściowy przechodzi przez backbone (np. CNN lub transformer), aby wyodrębnić cechy.
• Te cechy są wprowadzane do transformera, gdzie uczące się zapytania wchodzą w interakcję z cechami.
• Wyjście dla każdego zapytania to maska i klasa.

Ten podejście upraszcza architekturę i poprawia jakość segmentacji dzięki kontekstowi globalnemu i elastyczności zapytań.