Что такое Mask2Former и его query-based подход?

Mask2Former — это современный подход к задачам сегментации изображений, который объединяет различные типы сегментации (например, семантическую, инстанс и паноптическую) в единую архитектуру. Основная идея — использовать query-based (запросно-ориентированный) механизм, вдохновлённый трансформерами, для предсказания масок объектов.

Вместо классического построчного или пиксельного классификатора Mask2Former формулирует сегментацию как задачу поиска набора масок с помощью набора learnable queries (запросов). Каждый запрос отвечает за предсказание одной маски и её класса. Это позволяет модели эффективно разделять объекты и фон, а также обрабатывать разные типы сегментации в одном фреймворке.

Примерно это работает так:

• Входное изображение проходит через backbone (например, CNN или трансформер) для извлечения признаков.
• Эти признаки подаются в трансформер, где learnable queries взаимодействуют с признаками.
• На выходе для каждого запроса получается маска и класс.

Такой подход упрощает архитектуру и улучшает качество сегментации за счёт глобального контекста и гибкости запросов.