Que tipo de U-Net é utilizado no Stable Diffusion? Quais são as suas características em comparação com o U-Net comum?

No Stable Diffusion, é utilizada uma versão modificada da arquitetura U-Net, adaptada para tarefas de modelagem de difusão de imagens.

Características desta U-Net em comparação com a clássica:

• Dados de entrada: Em vez de imagens normais, é fornecida uma imagem ruidosa juntamente com um passo temporal de difusão (nível de ruído), que é codificado e fornecido à rede.
• Injeção temporal: Mecanismos para considerar o passo temporal (embedding de tempo) são adicionados à arquitetura, permitindo que o modelo leve em conta o grau de ruído.
• Uso de atenção: Algumas camadas do U-Net incorporam mecanismos de atenção (autoatenção), melhorando a capacidade do modelo de capturar dependências globais na imagem.
• Blocos modificados: Em vez de blocos convolucionais padrão, são utilizados blocos ResNet com normalização e ativação, otimizados para um treinamento estável.

Assim, o U-Net no Stable Diffusion é uma arquitetura especializada que combina uma estrutura clássica com mecanismos adicionais para trabalhar com ruído e passos temporais, o que é crítico para modelos de geração de imagens por difusão.