¿Qué tipo de U-Net se utiliza en Stable Diffusion? ¿Cuáles son sus características en comparación con un U-Net normal?

En Stable Diffusion se utiliza una versión modificada de la arquitectura U-Net, adaptada para tareas de modelado de difusión de imágenes.

Características de este U-Net en comparación con el clásico:

• Datos de entrada: En lugar de imágenes normales, se proporciona una imagen ruidosa junto con un paso temporal de difusión (nivel de ruido), que se codifica y se introduce en la red.
• Inyección temporal: Se añaden mecanismos en la arquitectura para tener en cuenta el paso temporal (incrustación de tiempo), lo que permite que el modelo considere el grado de ruido.
• Uso de atención: En algunas capas del U-Net se incorporan mecanismos de atención (autoatención), mejorando la capacidad del modelo para capturar dependencias globales en la imagen.
• Bloques modificados: En lugar de bloques convolucionales estándar, se utilizan bloques ResNet con normalización y activación, optimizados para un entrenamiento estable.

De esta manera, U-Net en Stable Diffusion es una arquitectura especializada que combina una estructura clásica con mecanismos adicionales para trabajar con ruido y pasos temporales, lo cual es crítico para los modelos de difusión de generación de imágenes.