Wie werden die Modelle von Stable Diffusion trainiert?

Das Training von Stable Diffusion-Modellen basiert auf Diffusionsprozessen, die allmählich Rauschen in ein Bild umwandeln. Die Hauptphasen:

1. Umgekehrter Diffusionsprozess: Das Modell lernt, das Bild aus einer verrauschten Version wiederherzustellen, indem es das Rauschen schrittweise entfernt.
2. Training an einem großen Datensatz: Es werden Bildpaare und Textbeschreibungen verwendet, damit das Modell Bilder anhand des Textes generieren kann.
3. Verwendung von Variational Autoencodern (VAE), um Bilder in einen latenten Raum zu komprimieren, in dem das Diffusionsmodell trainiert wird.

Am Ende lernt das Modell, die Datenverteilung zu approximieren, und kann neue Bilder generieren, beginnend mit Rauschen und diese schrittweise verbessern, entsprechend der trainierten Diffusionsdynamik.