Как обучаются модели Stable Diffusion?

Обучение моделей Stable Diffusion основано на диффузионных процессах, которые постепенно преобразуют шум в изображение. Основные этапы:

1. Обратный диффузионный процесс: модель учится восстанавливать изображение из зашумлённого варианта, постепенно удаляя шум.
2. Обучение на большом датасете: используются пары изображений и текстовых описаний, чтобы модель могла генерировать изображения по тексту.
3. Использование вариационных автоэнкодеров (VAE) для сжатия изображений в латентное пространство, где и происходит обучение диффузионной модели.

В итоге модель учится аппроксимировать распределение данных и может генерировать новые изображения, начиная с шума и постепенно улучшая их, следуя обученной диффузионной динамике.