Ako sa trénujú modely Stable Diffusion?

Tréning modelov Stable Diffusion je založen na difúznych procesoch, ktoré postupne menia šum na obrázok. Hlavné kroky:

1. Obrátený difúzny proces: model sa učí rekonštruovať obrázok zo šumovej verzie, postupne odstraňujúc šum.
2. Tréning na veľkom datasete: používajú sa páry obrázkov a textových popisov, aby model mohol generovať obrázky podľa textu.
3. Použitie variabilných autoenkodérov (VAE) na kompresiu obrázkov do latentného priestoru, kde prebieha tréning difúzneho modelu.

Nakoniec sa model naučí približovať rozdelenie dát a môže generovať nové obrázky, začínajúc od šumu a postupne ich zlepšujúc, podľa naučenej difúznej dynamiky.