¿Qué es Mask2Former y cuál es su enfoque basado en consultas?

Mask2Former es un enfoque moderno para tareas de segmentación de imágenes que combina diferentes tipos de segmentación (por ejemplo, semántica, de instancia y panóptica) en una arquitectura unificada. La idea principal es utilizar un mecanismo basado en consultas (query-based), inspirado en los transformadores, para predecir máscaras de objetos.

En lugar de un clasificador clásico por línea o píxel, Mask2Former formula la segmentación como una tarea de búsqueda de un conjunto de máscaras mediante un conjunto de consultas aprendibles. Cada consulta es responsable de predecir una máscara y su clase. Esto permite que el modelo divida objetos y fondo de manera eficiente, además de manejar diferentes tipos de segmentación en un mismo marco.

Funciona aproximadamente así:

• La imagen de entrada pasa por un backbone (por ejemplo, CNN o transformador) para extraer características.
• Estas características se introducen en un transformador, donde las consultas aprendibles interactúan con las características.
• La salida para cada consulta es una máscara y una clase.

Este enfoque simplifica la arquitectura y mejora la calidad de la segmentación gracias al contexto global y a la flexibilidad de las consultas.