Hoe worden de modellen van Stable Diffusion getraind?

Het trainen van Stable Diffusion-modellen is gebaseerd op diffusieprocessen die geleidelijk ruis omzetten in een afbeelding. De belangrijkste stappen:

1. Omgekeerd diffusieproces: het model leert de afbeelding te reconstrueren uit een geruisde versie, waarbij het ruis geleidelijk wordt verwijderd.
2. Training op een grote dataset: er worden paren van afbeeldingen en tekstbeschrijvingen gebruikt zodat het model afbeeldingen kan genereren op basis van tekst.
3. Gebruik van variationale auto-encoders (VAE) om afbeeldingen te comprimeren in een latente ruimte, waar de training van het diffusie-model plaatsvindt.

Uiteindelijk leert het model de data-verdeling te benaderen en kan het nieuwe afbeeldingen genereren, beginnend met ruis en deze geleidelijk verbeteren, volgens de getrainde diffusiedynamiek.