Milyen típusú U-Net-et használnak a Stable Diffusion-ben? Milyen jellemzői vannak a szokásos U-Net-hez képest?

A Stable Diffusion-ben egy módosított U-Net architektúrát használnak, amelyet képdiffúziós modellezési feladatokra adaptáltak.

Ennek az U-Net-nek a jellemzői a klasszikushoz képest:

• Bemeneti adatok: A szokásos képek helyett egy zajosított kép és egy diffúziós lépés (zajszint) kerül bemenetként, amelyet kódolnak és a hálózatba táplálnak.
• Időbeli injekció: Az architektúrába olyan mechanizmusokat építettek be, amelyek figyelembe veszik az időbeli lépést (időbeágyazás), lehetővé téve a modell számára, hogy figyelembe vegye a zaj mértékét.
• Figyelem használata: Néhány U-Net rétegben figyelemmechanizmusokat (önfigyelem) adtak hozzá, amelyek javítják a modell képességét a globális függőségek megragadására a képen.
• Módosított blokkok: A standard konvolúciós blokkok helyett ResNet blokkokat használnak normalizációval és aktivációval, amelyek stabil tanulásra vannak optimalizálva.

Így a U-Net a Stable Diffusion-ben egy olyan specializált architektúra, amely a klasszikus struktúrát kiegészítő mechanizmusokkal ötvözi a zaj és az időbeli lépések kezelésére, ami kritikus a képgeneráló diffúziós modellek számára.