Čo predpovedá U-Net v Stable Diffusion pri každom kroku?

V modeli Stable Diffusion predpovedá U-Net pri každom kroku šum, ktorý bol pridaný k obrázku v tejto fáze difúzneho procesu. Konkrétne, U-Net je trénovaný na obnovenie pôvodného obrázka zo šumovej verzie, teda predpovedá zložku šumu, ktorú je potrebné odčítať, aby sa získal čistejší obrázok.

Proces možno predstaviť takto:

1. Na vstup je zadaný šumový obrázok v aktuálnom kroku.
2. U-Net predpovedá zložku šumu, ktorá je v tomto obrázku prítomná.
3. Predpovedaný šum sa používa na aktualizáciu obrázka, znižujúc úroveň šumu.

Týmto spôsobom hrá U-Net kľúčovú úlohu v inverznom difúznom procese, postupne obnovujúc detailný obrázok zo náhodného šumu.