Comment les modèles de Stable Diffusion sont-ils entraînés?

La formation des modèles de Diffusion Stable repose sur des processus de diffusion qui transforment progressivement le bruit en une image. Les étapes principales :

1. Processus de diffusion inverse : le modèle apprend à reconstruire l'image à partir d'une version bruitée, en supprimant progressivement le bruit.
2. Entraînement sur un grand ensemble de données : des paires d'images et de descriptions textuelles sont utilisées pour que le modèle puisse générer des images à partir du texte.
3. Utilisation d'autoencodeurs variationnels (VAE) pour compresser les images dans un espace latent, où l'entraînement du modèle de diffusion a lieu.

Finalement, le modèle apprend à approximer la distribution des données et peut générer de nouvelles images, en commençant par du bruit et en les améliorant progressivement, suivant la dynamique de diffusion entraînée.