Jak uczą się modele Stable Diffusion?

Trening modeli Stable Diffusion opiera się na procesach dyfuzji, które stopniowo zamieniają szum w obraz. Główne etapy:

1. Proces odwrotnej dyfuzji: model uczy się odtwarzać obraz z zaszumionej wersji, stopniowo usuwając szum.
2. Trening na dużym zbiorze danych: używa się par obrazów i opisów tekstowych, aby model mógł generować obrazy na podstawie tekstu.
3. Użycie autoenkoderów wariacyjnych (VAE) do kompresji obrazów w przestrzeń latentną, gdzie odbywa się trening modelu dyfuzji.

Ostatecznie, model uczy się przybliżać rozkład danych i może generować nowe obrazy, zaczynając od szumu i stopniowo je poprawiając, podążając za wytrenowaną dynamiką dyfuzji.