Модели забони видео (VideoLLaMA, Video-ChatGPT) чист?

Моделҳои видео-забон (масалан, VideoLLaMA, Video-ChatGPT) моделҳои бисёрмодалӣ мебошанд, ки коркарди видео ва забони табииро якҷоя мекунанд. Онҳо метавонанд ҷараёни видеоиро қабул кунанд, маълумоти маъноӣ аз онҳо бароварда, ҷавобҳои матнӣ ё тавсифҳоро тавлид кунанд ва бо корбар дар забони табиӣ, бо дарназардошти контексти визуалӣ, муошират кунанд.

Хусусиятҳои асосии ин моделҳо:

• Бисёрмодалӣ: ҳамҷоягии маълумоти визуалӣ (кадрҳои видео, ҳаракатҳо, объектҳо) ва маълумоти матнӣ.
• Фаҳмиши контекстӣ: қобилияти таҳлили динамикаи видео, шиносоии амалҳо, объектҳо ва эҳсосот.
• Тавлиди матн: эҷоди тавсифҳо, ҷавобҳо ба саволҳо, сӯҳбатҳо бо корбар, асос ёфта бар мазмуни видео.

Барномаҳо дохил мешаванд ба таври автоматӣ тавсифи видео, ёрдамчиёни интерактив барои таҳлили видео, системаҳои назоратӣ бо қобилияти сӯҳбат ва бисёр дигар.

Техникӣ, ин моделҳо дар асоси архитектураҳои трансформер сохта шудаанд, ки барои коркарди пайдарпайии тасвирҳо ва матнҳо васеъ карда шудаанд, аксар вақт бо истифода аз моделҳои пештар омӯзишёфтаи забон ва визуалӣ, ки дар системаи ягона муттаҳид шудаанд.