Что такое action recognition и какие популярные датасеты (Kinetics, UCF)?

Action recognition — это задача компьютерного зрения, направленная на автоматическое определение и классификацию действий или событий, происходящих в видео. Цель — понять, что именно делает человек или объект в кадре, например, бег, прыжок, игра на музыкальном инструменте и т.д.

Для обучения и оценки моделей action recognition широко используются специализированные датасеты:

• Kinetics — крупный датасет, содержащий сотни тысяч видеоклипов с YouTube, размеченных по сотням классов действий. Он стал стандартом для обучения глубоких нейросетей, так как охватывает широкий спектр повседневных и специализированных действий.

• UCF101 — классический датасет, состоящий из 13 320 видеороликов, сгруппированных по 101 категории действий, таких как спорт, бытовые действия и т.п. Он меньше Kinetics, но часто используется для быстрого прототипирования и сравнений.

Эти датасеты позволяют моделям учиться выделять пространственно-временные признаки, необходимые для понимания динамики действий в видео.