Видео объектінің сегментациясы және маскаларды трекинг (XMem, SAM2) дегеніміз не?

Бейне объектілерін сегменттеу — компьютерлік көрудің тапсырмасы, ол бейне кадрларындағы объектілерді бөлу және сегменттеу бойынша жұмыс істейді, яғни әр кадрда нақты объектіге тиесілі пиксельдерді анықтау. Маскаларды трекинг (mask tracking) — бұл осы сегменттелген объектілерді кадрлар тізбегінде бақылау процесі, объектінің уақыт бойы бірегейлігін сақтау үшін.

XMem және SAM2 — осы тапсырмаларды шешу үшін қолданылатын заманауи модельдер:

• XMem — бұл бейнеде сегменттелген объектілерді тиімді бақылау үшін жадыны қолданатын әдіс, ол алдыңғы кадрлардан маскалар туралы ақпаратты сақтап, оны жаңа деректермен жаңартуға мүмкіндік береді.

• SAM2 (Segment Anything Model 2) — SAM моделінің кеңейтілген нұсқасы, ол объектілерді универсалды сегменттеу үшін арналған, соның ішінде видеоға арналған, интерактивті немесе автоматты түрде объектілерді анықтау және олардың трекингі мүмкіндігімен.

Мұндай модельдерді қолдану видео аналитикада, автономды жүйелерде, AR/VR және басқа салаларда маңызды, онда объектілерді уақыт бойынша дәл түсіну және бақылау қажет.