Čo je Mask2Former a aký je jeho prístup založený na dopytoch?

Mask2Former je moderný prístup k úlohám segmentácie obrázkov, ktorý spája rôzne typy segmentácie (napríklad sémantickú, inštančnú a panoptickú) do jednej architektúry. Hlavnou myšlienkou je použitie mechanizmu založeného na dotazoch (query-based), inšpirovaného transformátormi, na predpovedanie masiek objektov.

Namiesto klasifikátora typu riadok po riadku alebo pixel po pixel, Mask2Former formulár segmentáciu ako úlohu hľadania sady masiek pomocou sady learnable dotazov. Každý dotaz je zodpovedný za predpoveď jednej masky a jej triedy. To umožňuje modelu efektívne oddeliť objekty od pozadia a zároveň spracovávať rôzne typy segmentácie v rámci jedného rámca.

Približne to funguje takto:

• Vstupný obrázok prechádza cez backbone (napríklad CNN alebo transformátor), aby extrahoval charakteristiky.
• Tieto charakteristiky sú vložené do transformátora, kde learnable dotazy interagujú s charakteristikami.
• Výstup pre každý dotaz je maska a trieda.

Tento prístup zjednodušuje architektúru a zlepšuje kvalitu segmentácie vďaka globálnemu kontextu a flexibilite dotazov.