Mis on Mask2Former ja milline on selle päringupõhine lähenemine?

Mask2Former on kaasaegne lähenemisviis piltide segmentatsiooniprotsessidele, mis ühendab erinevaid segmentatsioonitüüpe (näiteks semantiline, instants ja panoptik) ühte arhitektuuri. Põhitegevus on kasutada query-based (küsimuspõhist) mehhanismi, mis on inspireeritud transformaatoritest, objektmaskide ennustamiseks.

Klassikalise joonise või pikslipõhise klassifikaatori asemel formuleerib Mask2Former segmentatsiooni kui otsinguprotsessi, kasutades õppitavaid päringute kogumit. Iga päring vastutab ühe maski ja selle klassi ennustamise eest. See võimaldab mudelil tõhusalt eristada objekte ja tausta ning töödelda erinevaid segmentatsioonitüüpe ühes raamistikus.

See töötab umbes nii:

• Sisendpilt läbib backbone'i (näiteks CNN või transformatori), et välja tuua omadused.
• Need omadused sisestatakse transformatorisse, kus õppitavad päringud suhtlevad omadustega.
• Iga päringu väljundiks on mask ja klass.

See lähenemine lihtsustab arhitektuuri ja parandab segmentatsiooni kvaliteeti, kasutades ära globaalset konteksti ja päringute paindlikkust.