Что хотят услышать интервьюеры:

Stable Diffusion можно расширять до multimodal-генерации, если не ограничиваться одним текстовым conditioning. Обычно для этого добавляют отдельные энкодеры для изображения, аудио или других сигналов и подают их в U-Net через cross-attention, concat или адаптеры. Важно показать понимание, что базовая идея — не переписывать весь диффузионный пайплайн, а аккуратно расширять механизм conditioning.

Определение:

Stable Diffusion — это латентная диффузионная модель, которая генерирует изображение по условию, чаще всего по тексту. Чтобы принимать дополнительные входы, архитектуру модифицируют так, чтобы модель получала не только text embedding, но и представление другого модальности: например, вектор изображения, аудиопризнаки, позу, depth-карту или segmentation map.
На практике это делается через отдельный encoder для новой модальности и один из способов интеграции в denoising network: cross-attention, feature concatenation, FiLM/адаптеры, ControlNet-подобные ветки или совместное обучение нескольких энкодеров.

Пример использования:

Например, можно сделать генерацию изображения по тексту и референсному изображению стиля. Текст задаёт содержание сцены, а картинка-референс — цветовую палитру и композиционный стиль.

# Псевдокод: conditioning от текста и изображения
text_emb = text_encoder(prompt)          # [B, T, D]
image_emb = image_encoder(ref_image)      # [B, S, D2]
image_emb = proj(image_emb)              # привести к общей размерности

# U-Net получает два источника условия:
# 1) текст через cross-attention
# 2) image conditioning через дополнительный attention/adapter
noise_pred = unet(
    latent_noisy,
    t,
    text_context=text_emb,
    extra_context=image_emb
)

Типичный вариант для аудио: сначала извлекаются спектральные или эмбеддинговые признаки аудио, затем они подаются в ту же U-Net как дополнительный контекст, например для генерации изображения по описанию и звуку сцены.

Пояснение кода:

Код здесь показан как схема, а не как готовая реализация. Сначала текстовый энкодер переводит prompt в последовательность эмбеддингов, с которой U-Net уже умеет работать через cross-attention. Затем изображение проходит через отдельный encoder, который превращает его в признаки нужной размерности. После проекции эти признаки можно подать как дополнительный context в U-Net.

Дальше есть несколько архитектурных вариантов:

Cross-attention для каждой модальности — U-Net attends к тексту и к изображению как к разным источникам контекста.
Concatenation — эмбеддинги разных модальностей объединяются перед подачей в сеть.
Adapters / FiLM / conditioning blocks — дополнительная модальность влияет на промежуточные feature maps через scale/shift или отдельные блоки.
ControlNet-подход — основная U-Net остаётся почти неизменной, а для новой модальности добавляется отдельная ветка, которая вносит управляющий сигнал в денойзинг.

Для аудио логика та же: аудио сначала кодируется в признаки, затем эти признаки становятся условием для диффузионной модели. Если модальностей несколько, их обычно нормализуют к общему embedding space и учат модель работать с несколькими контекстами одновременно.

Ключевые моменты:

Базовая идея — расширить conditioning, а не менять сам принцип диффузии.
Для каждой новой модальности обычно нужен свой encoder.
Самые частые способы интеграции: cross-attention, concat, adapters, ControlNet-подобные ветки.
Важно выровнять размерности и формат признаков разных модальностей.
Для обучения нужны пары вида image-text, audio-image, pose-image и т.д., либо мультизадачное обучение.
Чем сильнее и разнообразнее conditioning, тем важнее контроль за конфликтами между модальностями и их весами.

Как можно модифицировать архитектуру Stable Diffusion, чтобы генерировать не только по тексту, но и по дополнительным входам (изображения, аудио и т.д.)?