Что такое visual question answering (VQA)?

Visual Question Answering (VQA) — это задача в области искусственного интеллекта и компьютерного зрения, которая заключается в том, чтобы система могла отвечать на вопросы, основанные на содержимом изображения.

Система VQA принимает на вход изображение и текстовый вопрос, анализирует их и генерирует ответ, который может быть текстовым или числовым. Это требует объединения методов обработки изображений (например, CNN) и обработки естественного языка (NLP).

Пример применения: пользователь загружает фото, задаёт вопрос "Сколько человек на фото?" — система анализирует изображение и отвечает "Три".

VQA — пример мультимодальной задачи, где объединяются разные типы данных для получения ответа.