Mask2Former რა არის და მისი შეკითხვებზე დაფუძნებული მიდგომა რა არის?
sobes.tech AI
პასუხი AI-სგან
Mask2Former — ეს თანამედროვე მიდგომაა სურათების სეგმენტაციის დავალებებისთვის, რომელიც აერთიანებს სხვადასხვა ტიპის სეგმენტაციას (მაგალითად, სემანტიკური, ინსტანციის და პანოპტიკური) ერთიანი არქიტექტურაში. მთავარი იდეაა გამოიყენოს query-based (საკითხზე დაფუძნებული) მექანიზმი, რომელიც შთაგონებულია ტრანსფორმატორებით, ობიექტების მასკების წინასწარმეტყველებისთვის.
კლასიკური ხაზოვანი ან პიქსელური კლასიფიკატორის ნაცვლად, Mask2Former ფორმულირებს სეგმენტაციას როგორც ძიების დავალებას, რომელიც იყენებს სწავლასადი კითხვების ნაკრებს. თითოეული კითხვა პასუხისმგებელია ერთ მასკაზე და მის კლასზე. ეს საშუალებას აძლევს მოდელს ეფექტურად გამოარჩიოს ობიექტები და ფონზე, ასევე დააკავშიროს სხვადასხვა ტიპის სეგმენტაცია ერთ ჩარჩოში.
ამგვარად მუშაობს:
- შესავალი სურათი გადის backbone-ით (მაგალითად, CNN ან ტრანსფორმატორით) თვისებების გამოსაყვანად.
- ეს თვისებები შეყვანილია ტრანსფორმატორში, სადაც სწავლასადი კითხვები ურთიერთქმედებს თვისებებთან.
- თითოეული კითხვისთვის გამოსავალია მასკა და კლასი.
ეს მიდგომა მარტივებს არქიტექტურას და აუმჯობესებს სეგმენტაციის ხარისხს გლობალური კონტექსტისა და კითხვების მოქნილობის გამო.