Aký typ U-Net sa používa v Stable Diffusion? Aké sú jeho vlastnosti v porovnaní s bežným U-Net?

V Stable Diffusion sa používa upravená verzia architektúry U-Net, prispôsobená pre úlohy difúzneho modelovania obrázkov.

Charakteristiky tejto U-Net v porovnaní s klasickou:

• Vstupné údaje: Namiesto bežných obrázkov sa poskytuje šumový obrázok spolu s časovým krokom difúzie (úroveň šumu), ktorý je zakódovaný a zadaný do siete.
• Vstrekovanie času: Do architektúry boli pridané mechanizmy na zohľadnenie časového kroku (vložené časové vkladanie), čo umožňuje modelu brať do úvahy stupeň šumu.
• Použitie pozornosti: V niektorých vrstvách U-Net boli pridané mechanizmy pozornosti (self-attention), čo zlepšuje schopnosť modelu zachytiť globálne závislosti v obrázku.
• Upravené bloky: Namiesto štandardných konvolučných blokov sa používajú ResNet bloky s normalizáciou a aktiváciou, optimalizované pre stabilné učenie.

Týmto spôsobom je U-Net v Stable Diffusion špecializovaná architektúra, ktorá kombinuje klasickú štruktúru s dodatočnými mechanizmami na prácu so šumom a časovými krokmi, čo je kľúčové pre difúzne modely generovania obrázkov.