Cum sunt antrenate modelele Stable Diffusion?

Antrenamentul modelelor de Difuzie Stabilă se bazează pe procese de difuzie care transformă treptat zgomotul într-o imagine. Etapele principale:

1. Procesul de difuzie inversă: modelul învață să reconstruiască imaginea dintr-o versiune zgomotoasă, eliminând treptat zgomotul.
2. Antrenament pe un set mare de date: se folosesc perechi de imagini și descrieri textuale pentru ca modelul să poată genera imagini din text.
3. Utilizarea autoencoder-elor variationale (VAE) pentru comprimarea imaginilor în spațiul latent, unde are loc antrenamentul modelului de difuzie.

În final, modelul învață să aproximeze distribuția datelor și poate genera imagini noi, începând cu zgomot și îmbunătățindu-le treptat, urmând dinamica de difuzie antrenată.