Что предсказывает U-Net в Stable Diffusion на каждом шаге?

В модели Stable Diffusion на каждом шаге U-Net предсказывает шум, который был добавлен к изображению на этом этапе диффузионного процесса. Конкретно, U-Net обучается восстанавливать исходное изображение из зашумлённой версии, то есть она предсказывает компонент шума, который нужно вычесть, чтобы получить более чистое изображение.

Процесс можно представить так:

1. На вход подаётся зашумлённое изображение на текущем шаге.
2. U-Net предсказывает шумовую составляющую, присутствующую в этом изображении.
3. Предсказанный шум используется для обновления изображения, уменьшая уровень шума.

Таким образом, U-Net играет ключевую роль в обратном диффузионном процессе, постепенно восстанавливая детализированное изображение из случайного шума.