Τι είναι το Mask2Former και ποια είναι η προσέγγισή του με βάση τα ερωτήματα;

Mask2Former — είναι μια σύγχρονη προσέγγιση στις εργασίες διαχωρισμού εικόνων, που συνδυάζει διάφορους τύπους διαχωρισμού (π.χ., σημασιολογικό, στιγμιαίο και πανοπτικό) σε μια ενιαία αρχιτεκτονική. Η βασική ιδέα είναι η χρήση ενός μηχανισμού βασισμένου σε ερωτήματα (query-based), εμπνευσμένου από τους μετασχηματιστές, για την πρόβλεψη μαρκών αντικειμένων.

Αντί ενός κλασικού ταξινομητή γραμμής ή pixel, το Mask2Former διατυπώνει τον διαχωρισμό ως μια εργασία αναζήτησης ενός συνόλου μαρκών με τη βοήθεια ενός συνόλου learnable ερωτημάτων. Κάθε ερώτημα είναι υπεύθυνο για την πρόβλεψη μιας μαρκας και της κατηγορίας της. Αυτό επιτρέπει στο μοντέλο να διαχωρίζει αποτελεσματικά αντικείμενα και φόντο, καθώς και να χειρίζεται διαφορετικούς τύπους διαχωρισμού σε ένα πλαίσιο.

Λειτουργεί περίπου έτσι:

• Η εισερχόμενη εικόνα περνάει από ένα backbone (π.χ., CNN ή μετασχηματιστή) για την εξαγωγή χαρακτηριστικών.
• Αυτά τα χαρακτηριστικά εισάγονται σε έναν μετασχηματιστή, όπου τα learnable ερωτήματα αλληλεπιδρούν με τα χαρακτηριστικά.
• Η έξοδος για κάθε ερώτημα είναι μια μαρκά και μια κατηγορία.

Αυτή η προσέγγιση απλοποιεί την αρχιτεκτονική και βελτιώνει την ποιότητα διαχωρισμού χάρη στο παγκόσμιο πλαίσιο και την ευελιξία των ερωτημάτων.