Jak se trénují modely Stable Diffusion?

Trénink modelů Stable Diffusion je založen na difúzních procesech, které postupně mění šum na obrázek. Hlavní kroky:

1. Obrácený difúzní proces: model se učí rekonstruovat obrázek ze šumové verze, postupně odstraňující šum.
2. Trénink na velkém datasetu: používají se páry obrázků a textových popisů, aby model mohl generovat obrázky podle textu.
3. Použití variabilních autoenkodérů (VAE) k kompresi obrázků do latentního prostoru, kde probíhá trénink difúzního modelu.

Nakonec se model naučí aproximovat rozdělení dat a může generovat nové obrázky, začínající šumem a postupně je zlepšující, podle naučené difúzní dynamiky.