Welke soort U-Net wordt gebruikt in Stable Diffusion? Wat zijn de kenmerken ervan vergeleken met de gewone U-Net?

In Stable Diffusion wordt een aangepaste versie van de U-Net-architectuur gebruikt, aangepast voor taken van beelddiffusiemodellering.

Kenmerken van deze U-Net vergeleken met de klassieke:

• Invoergegevens: In plaats van gewone afbeeldingen wordt een ruisende afbeelding samen met een diffusiestap (ruisniveau) gevoed, dat wordt gecodeerd en aan het netwerk wordt gegeven.
• Tijdinjectie: Mechanismen voor het rekening houden met de tijdsstap (tijd-embedding) zijn toegevoegd aan de architectuur, waardoor het model het niveau van ruis kan overwegen.
• Gebruik van aandacht: In sommige lagen van U-Net zijn aandachtmechanismen (self-attention) toegevoegd, wat het vermogen van het model verbetert om globale afhankelijkheden in de afbeelding te vangen.
• Aangepaste blokken: In plaats van standaard convolutieblokken worden ResNet-blokken met normalisatie en activatie gebruikt, geoptimaliseerd voor stabiel leren.

Zo is U-Net in Stable Diffusion een gespecialiseerde architectuur die de klassieke structuur combineert met extra mechanismen om met ruis en tijdsstappen te werken, wat cruciaal is voor diffusie-modellen voor beeldgeneratie.