Из каких частей состоит Stable Diffusion (SD)?

Stable Diffusion состоит из нескольких ключевых компонентов:

1. Условный автоэнкодер (Conditional Autoencoder) — кодирует входное изображение в компактное латентное пространство и декодирует обратно, что позволяет работать с меньшим размером данных.

2. Диффузионная модель (Diffusion Model) — обучается постепенно добавлять шум к латентному представлению и затем восстанавливать исходное изображение, что позволяет генерировать новые изображения из шума.

3. Условный механизм (Conditioning) — обычно это текстовый энкодер (например, CLIP), который преобразует текстовое описание в вектор, влияющий на процесс генерации, чтобы создавать изображения, соответствующие описанию.

4. Процесс диффузии и обратного диффузионного сэмплинга — алгоритм, который итеративно преобразует случайный шум в осмысленное изображение, используя обученную модель.

Примерно так выглядит схема работы:

Текстовое описание -> Текстовый энкодер -> Условие -> Диффузионная модель -> Латентное пространство -> Декодер -> Изображение