Mask2Former nedir ve sorgu tabanlı yaklaşımı nedir?

Mask2Former, görüntü segmentasyon görevlerine modern bir yaklaşımdır ve farklı segmentasyon türlerini (örneğin, semantik, örnek ve panoptik) tek bir mimaride birleştirir. Ana fikir, transformer'lardan ilham alan sorguya dayalı (query-based) bir mekanizma kullanarak nesne maskelerini tahmin etmektir.

Klasik satır veya piksel sınıflandırıcısı yerine, Mask2Former segmentasyonu, öğrenilebilir sorgular kümesi kullanarak maske kümesini arama görevi olarak formüle eder. Her sorgu, bir maske ve onun sınıfını tahmin etmekle sorumludur. Bu, modelin nesneleri ve arka planı verimli bir şekilde ayırmasını ve farklı segmentasyon türlerini aynı çerçevede işlemesini sağlar.

Yaklaşık olarak şu şekilde çalışır:

• Giriş resmi, özellikleri çıkarmak için bir backbone (örneğin, CNN veya transformer) üzerinden geçirilir.
• Bu özellikler, öğrenilebilir sorguların özelliklerle etkileşime girdiği bir transformer'a beslenir.
• Her sorgu için çıktı, bir maske ve bir sınıftır.

Bu yaklaşım, mimariyi basitleştirir ve küresel bağlam ve sorguların esnekliği sayesinde segmentasyon kalitesini artırır.