Como são treinados os modelos de Stable Diffusion?

O treino de modelos de Difusão Estável baseia-se em processos de difusão que transformam gradualmente o ruído numa imagem. As principais etapas:

1. Processo de difusão inversa: o modelo aprende a reconstruir a imagem a partir de uma versão ruidosa, removendo o ruído gradualmente.
2. Treino em um grande conjunto de dados: são usadas pares de imagens e descrições de texto para que o modelo possa gerar imagens a partir do texto.
3. Uso de autoencoders variacionais (VAE) para comprimir as imagens em um espaço latente, onde ocorre o treino do modelo de difusão.

No final, o modelo aprende a aproximar a distribuição dos dados e pode gerar novas imagens, começando com ruído e melhorando-as gradualmente, seguindo a dinâmica de difusão treinada.