Что такое 3D CNN и где они применяются (I3D, SlowFast)?

3D CNN (трёхмерные сверточные нейронные сети) — это разновидность сверточных сетей, которые применяют 3D-свертки, то есть фильтры с тремя измерениями (высота, ширина и глубина/время). В отличие от обычных 2D CNN, которые работают с изображениями, 3D CNN обрабатывают видеоданные или последовательности изображений, учитывая пространственно-временную информацию.

Основные применения 3D CNN:

• Анализ видео (распознавание действий, событий)
• Медицинская визуализация (3D-снимки, томография)
• Обработка последовательностей изображений

I3D (Inflated 3D ConvNet) — архитектура, которая расширяет 2D CNN в 3D, "надувая" 2D фильтры в 3D, что позволяет использовать предобученные 2D веса и эффективно обучать модели для видеоанализа.

SlowFast — архитектура, которая использует два параллельных потока: "Slow" поток с низкой частотой кадров для захвата пространственной информации и "Fast" поток с высокой частотой кадров для захвата динамики движения. Это позволяет эффективно моделировать временные аспекты видео.

Обе архитектуры широко применяются в задачах видеоаналитики, например, для распознавания действий, классификации видео и анализа поведения.