Šta je Mask2Former i kakav je njegov pristup zasnovan na upitima?

Mask2Former je savremen pristup zadacima segmentacije slika koji kombinuje različite tipove segmentacije (na primer, semantičku, instancu i panoptičku) u jedinstvenu arhitekturu. Glavna ideja je korišćenje mehanizma zasnovanog na upitima (query-based), inspirisanog transformatorima, za predviđanje maski objekata.

Umesto klasičnog klasifikatora po liniji ili piksela, Mask2Former formuliše segmentaciju kao zadatak traženja skupa maski pomoću skupa learnable upita. Svaki upit je odgovoran za predviđanje jedne maske i njenog razreda. Ovo omogućava modelu da efikasno razdvoji objekte od pozadine, kao i da obrađuje različite tipove segmentacije u okviru jednog okvira.

Otprilike funkcioniše ovako:

• Ulazna slika prolazi kroz backbone (npr. CNN ili transformator) radi ekstrakcije karakteristika.
• Te karakteristike se unose u transformator, gde learnable upiti interaguju sa karakteristikama.
• Izlaz za svaki upit je maska i razred.

Ovaj pristup pojednostavljuje arhitekturu i poboljšava kvalitet segmentacije zahvaljujući globalnom kontekstu i fleksibilnosti upita.