Kas ir Mask2Former un kāds ir tā pieprasījumu balstīts pieeja?

Mask2Former ir moderns pieņēmums attēlu segmentācijas uzdevumiem, kas apvieno dažādus segmentācijas tipus (piemēram, semantisko, instanču un panoptisko) vienā arhitektūrā. Galvenā ideja ir izmantot query-based (vaicājumu balstītu) mehānismu, iedvesmojoties no transformatoriem, lai prognozētu objektu maskas.

Tā vietā, lai izmantotu klasisku rindu vai pikseļu klasifikatoru, Mask2Former formulē segmentāciju kā meklēšanas uzdevumu, izmantojot mācāmu vaicājumu kopu. Katrs vaicājums ir atbildīgs par vienas maskas un tās klases prognozēšanu. Tas ļauj modelim efektīvi atdalīt objektus no fona un apstrādāt dažādus segmentācijas tipus vienā ietvarā.

Tā aptuveni darbojas šādi:

• Ieejas attēls tiek nodots caur backbone (piemēram, CNN vai transformatoru), lai iegūtu raksturlielumus.
• Šie raksturlielumi tiek ievadīti transformatorā, kur mācāmas vaicājumu kopas mijiedarbojas ar raksturlielumiem.
• Katram vaicājumam ir rezultāts — maska un klase.

Šī pieeja vienkāršo arhitektūru un uzlabo segmentācijas kvalitāti, ņemot vērā globālo kontekstu un vaicājumu elastību.