Qu'est-ce que Mask2Former et quelle est son approche basée sur les requêtes ?

Mask2Former est une approche moderne pour les tâches de segmentation d’images, combinant différents types de segmentation (par exemple, sémantique, d’instance et panoptique) en une architecture unifiée. L’idée principale est d’utiliser un mécanisme basé sur des requêtes (query-based), inspiré par les transformateurs, pour prédire les masques d’objets.

Au lieu d’un classificateur classique ligne par ligne ou pixel par pixel, Mask2Former formule la segmentation comme une tâche de recherche d’un ensemble de masques à l’aide d’un ensemble de requêtes apprenables. Chaque requête est responsable de prédire un masque et sa classe. Cela permet au modèle de séparer efficacement objets et fond, ainsi que de gérer différents types de segmentation dans un même cadre.

Cela fonctionne approximativement comme suit :

• L’image d’entrée passe par un backbone (par exemple, CNN ou transformateur) pour extraire des caractéristiques.
• Ces caractéristiques sont introduites dans un transformateur, où les requêtes apprenables interagissent avec les caractéristiques.
• La sortie pour chaque requête est une masque et une classe.

Cette approche simplifie l’architecture et améliore la qualité de la segmentation grâce au contexte global et à la flexibilité des requêtes.