Какой вид U-Net используется в Stable Diffusion? Какие особенности у него по сравнению с обычным U-Net?

В Stable Diffusion используется модифицированная версия архитектуры U-Net, адаптированная для задач диффузионного моделирования изображений.

Особенности этого U-Net по сравнению с классическим:

• Входные данные: Вместо обычных изображений на вход подается зашумленное изображение вместе с временным шагом диффузии (noise level), который кодируется и подается в сеть.
• Временная инжекция: В архитектуру добавлены механизмы для учета временного шага (time embedding), что позволяет модели учитывать степень зашумленности.
• Использование Attention: В некоторых слоях U-Net добавлены механизмы внимания (self-attention), что улучшает способность модели захватывать глобальные зависимости в изображении.
• Модифицированные блоки: Вместо стандартных свёрточных блоков используются ResNet-блоки с нормализацией и активацией, оптимизированные для стабильного обучения.

Таким образом, U-Net в Stable Diffusion — это специализированная архитектура, которая сочетает классическую структуру с дополнительными механизмами для работы с шумом и временными шагами, что критично для диффузионных моделей генерации изображений.