Hogyan tanítják a Stable Diffusion modelleket?

A Stable Diffusion modellek tanítása diffúziós folyamatokon alapul, amelyek fokozatosan alakítják át a zajt képpé. A fő lépések:

1. Fordított diffúziós folyamat: a modell megtanulja rekonstruálni a képet a zajos változatból, fokozatosan eltávolítva a zajt.
2. Nagy adathalmazon való tanulás: párok használata képekből és szöveges leírásokból, hogy a modell képes legyen szöveg alapján képeket generálni.
3. Variációs autoenkóderek (VAE) alkalmazása a képek tömörítésére a latens térbe, ahol a diffúziós modell tanítása zajlik.

Végül a modell megtanulja megközelíteni az adatok eloszlását, és képes új képeket generálni, zajból kiindulva, és azokat fokozatosan javítva, a tanult diffúziós dinamika szerint.