Co je Mask2Former a jaký je jeho přístup založený na dotazech?
sobes.tech AI
Odpověď od AI
Mask2Former je moderní přístup k úlohám segmentace obrázků, který spojuje různé typy segmentace (například sémantickou, instanční a panoptickou) do jedné architektury. Hlavní myšlenkou je použití mechanismu založeného na dotazech (query-based), inspirovaného transformátory, k předpovědi masek objektů.
Namísto klasifikátoru typu řádek po řádku nebo pixel po pixelu formuluj Mask2Former segmentaci jako úlohu hledání sady masek pomocí sady learnable dotazů. Každý dotaz odpovídá předpovědi jedné masky a její třídy. To umožňuje modelu efektivně oddělit objekty od pozadí a zároveň zpracovávat různé typy segmentace v rámci jednoho rámce.
Přibližně to funguje takto:
- Vstupní obrázek prochází backbone (například CNN nebo transformátor), aby extrahoval rysy.
- Tyto rysy jsou vloženy do transformátoru, kde learnable dotazy interagují s rysy.
- Výstup pro každý dotaz je maska a třída.
Tento přístup zjednodušuje architekturu a zlepšuje kvalitu segmentace díky globálnímu kontextu a flexibilitě dotazů.