Что такое video transformer (ViViT, TimeSformer)?

Video Transformer — это архитектура, основанная на трансформерах, адаптированная для обработки видео данных. В отличие от классических CNN, которые используют свёртки для извлечения признаков, Video Transformers применяют механизм внимания (self-attention) для моделирования пространственно-временных зависимостей в видео.

ViViT (Video Vision Transformer) и TimeSformer — два известных варианта таких моделей:

• ViViT разбивает видео на последовательность патчей (spatio-temporal patches), которые подаются на вход трансформеру. ViViT использует разные стратегии агрегации информации по пространству и времени, включая отдельные и совместные механизмы внимания.

• TimeSformer применяет разделённое внимание: сначала внимание по пространственным измерениям каждого кадра, затем по временным измерениям между кадрами. Это снижает вычислительную сложность по сравнению с полным пространственно-временным вниманием.

Обе модели позволяют эффективно захватывать сложные зависимости в видео, что улучшает задачи классификации, распознавания действий и другие задачи компьютерного зрения, связанные с видео.

Пример упрощённой идеи TimeSformer:

# Псевдокод для разделённого внимания
for each frame in video:
    spatial_features = spatial_attention(frame_patches)

temporal_features = temporal_attention(spatial_features_across_frames)

output = classifier(temporal_features)

Таким образом, Video Transformers — это мощный инструмент для анализа видео, использующий преимущества трансформеров для моделирования сложных пространственно-временных паттернов.