Что хотят услышать интервьюеры:

LLaVA — это мультимодальная модель, которая объединяет зрение и язык, чтобы отвечать на вопросы по изображениям. Обычно ожидают, что будет объяснено, как в ней связаны визуальный энкодер, проекция признаков и языковая модель. Важно показать понимание, что это не “отдельная vision model”, а связка компонентов для диалога по картинке.

Определение:

LLaVA (Large Language and Vision Assistant) — это семейство мультимодальных моделей для задач, где входом служит изображение и текстовый запрос, а выходом — текстовый ответ. Архитектурно она обычно состоит из трёх частей: визуального энкодера, который извлекает признаки из изображения, проекционного слоя, который переводит визуальные признаки в пространство, понятное языковой модели, и самой LLM, которая генерирует ответ. Идея в том, чтобы “подать” изображение в языковую модель как дополнительный контекст.

Пример использования:

Например, пользователь загружает фото комнаты и спрашивает: «Сколько здесь стульев и есть ли на столе ноутбук?». Модель анализирует изображение, сопоставляет визуальные признаки с текстовым вопросом и формирует ответ на естественном языке.

# Концептуальный пример, без привязки к конкретной библиотеке
image = load_image("room.jpg")
question = "Сколько здесь стульев и есть ли на столе ноутбук?"

visual_features = vision_encoder(image)
projected_features = projector(visual_features)
answer = language_model.generate(question, context=projected_features)

print(answer)

Пояснение кода:

Код выше показывает идею работы LLaVA на уровне пайплайна. Сначала изображение превращается в набор числовых признаков с помощью vision encoder. Затем projector приводит эти признаки к формату, совместимому с языковой моделью. После этого LLM получает текстовый вопрос и визуальный контекст и генерирует ответ. В реальной реализации эти шаги обычно скрыты внутри одной модели или API, но логика именно такая.

Ключевые моменты:

LLaVA — это не просто LLM и не просто CV-модель, а мультимодальная связка для работы с изображением и текстом.
Ключевая идея — преобразовать визуальные признаки в “токены”, понятные языковой модели.
Качество сильно зависит от визуального энкодера и того, насколько хорошо обучен слой согласования модальностей.
Основные сценарии: визуальный QA, описание изображений, разбор сцен, диалог по картинке.
На собеседовании важно отдельно упомянуть, что модель учится сопоставлять изображение и текст, а не “понимать картинку” в вакууме.

Что такое LLaVA и как она устроена?