Ce este Mask2Former și care este abordarea sa bazată pe interogări?

Mask2Former reprezintă o abordare modernă pentru sarcinile de segmentare a imaginilor, care combină diferite tipuri de segmentare (de exemplu, semantică, de instanță și panoptic) într-o arhitectură unificată. Ideea principală este utilizarea unui mecanism bazat pe interogări (query-based), inspirat de transformatoare, pentru a prezice măști de obiecte.

În loc de un clasificator clasic pe linie sau pixel, Mask2Former formulează segmentarea ca o sarcină de căutare a unui set de măști folosind un set de interogări learnable. Fiecare interogare răspunde de prezicerea unei măști și a clasei sale. Acest lucru permite modelului să separa eficient obiectele de fundal și să gestioneze diferite tipuri de segmentare într-un singur cadru.

Funcționează aproximativ astfel:

• Imaginea de intrare trece printr-un backbone (de exemplu, CNN sau transformator) pentru extragerea caracteristicilor.
• Aceste caracteristici sunt introduse într-un transformator, unde interogările learnable interacționează cu caracteristicile.
• Ieșirea pentru fiecare interogare este o mască și o clasă.

Această abordare simplifică arhitectura și îmbunătățește calitatea segmentării datorită contextului global și flexibilității interogărilor.