Какво е Mask2Former и какъв е неговият подход, базиран на заявки?

Mask2Former е модерен подход към задачите за сегментация на изображения, който обединява различни типове сегментация (например, семантична, инстанс и паноптична) в единна архитектура. Основната идея е използването на механизъм, базиран на заявки (query-based), вдъхновен от трансформаторите, за предсказване на маски на обекти.

Вместо класически построчен или пикселен класификатор, Mask2Former формулира сегментацията като задача за търсене на набор от маски с помощта на набор от learnable заявки. Всяка заявка отговаря за предсказването на една маска и нейния клас. Това позволява на модела ефективно да разделя обектите и фона, както и да обработва различни типове сегментация в един рамков модел.

Приблизително това работи така:

• Входното изображение преминава през backbone (например, CNN или трансформатор), за извличане на характеристики.
• Тези характеристики се подават в трансформатор, където learnable заявки взаимодействат с характеристиките.
• Изходът за всяка заявка е маска и клас.

Този подход опростява архитектурата и подобрява качеството на сегментацията благодарение на глобалния контекст и гъвкавостта на заявките.