Mask2Former деген эмне жана анын суроого негизделген жактан кандайча иштейт?

Mask2Former — бул заманбап ыкма сүрөттөрдү сегментациялоо тапшырмалары үчүн, ал ар кандай сегментация түрлөрүн (мисалы, семантикалык, инстанс жана паноптикалык) бир архитектурада бириктирет. Негизги идея — трансформаторлордон илхам алган query-based (суроо-бааздуу) механизмди колдонуп, объекттердин маскаларын алдын ала айтуу.

Классикалык тилдик же пикселдик классификатордун ордуна, Mask2Former сегментацияны үйрөнүлүүчү суроолор топтому аркылуу маскалар топтомун издөө катары формулдайт. Ар бир суроо бир маска жана анын классы үчүн жооптуу. Бул модельге объекттерди жана фонду эффективдүү бөлүп, ар кандай сегментация түрлөрүн бир рамкада иштетүүгө мүмкүндүк берет.

Жакынча мындай иштейт:

• Кирүү сүрөтү backbone аркылуу өтөт (мисалы, CNN же трансформатор), өзгөчөлүктөрдү чыгарып алуу үчүн.
• Бул өзгөчөлүктөр трансформаторго киргизилет, анда үйрөнүлүүчү суроолор өзгөчөлүктөр менен өз ара аракеттешет.
• Ар бир суроо үчүн чыгуу — маска жана класс.

Бул ыкма архитектураны жөнөкөйлөтөт жана глобалдык контекст жана суроолордун ийкемдүүлүгү аркылуу сегментациянын сапатын жакшыртат.