Koji tip U-Net se koristi u Stable Diffusion? Koje su njegove osobine u poređenju sa običnim U-Net-om?

U Stable Diffusion koristi modifikovanu verziju arhitekture U-Net, prilagođenu za zadatke difuzionog modeliranja slika.

Karakteristike ove U-Net u poređenju sa klasičnom:

• Ulazni podaci: Umesto običnih slika, ulazi šumovita slika zajedno sa vremenskim korakom difuzije (nivo šuma), koji se kodira i unosi u mrežu.
• Umetanje vremena: U arhitekturu su dodati mehanizmi za uzimanje u obzir vremenskog koraka (ugrađivanje vremena), što omogućava modelu da uzme u obzir stepen šuma.
• Korišćenje pažnje: U nekim slojevima U-Net dodati su mehanizmi pažnje (self-attention), što poboljšava sposobnost modela da uhvati globalne zavisnosti u slici.
• Modifikovani blokovi: Umesto standardnih konvolucionih blokova koriste se ResNet blokovi sa normalizacijom i aktivacijom, optimizovani za stabilno učenje.

Na ovaj način, U-Net u Stable Diffusion je specijalizovana arhitektura koja kombinuje klasičnu strukturu sa dodatnim mehanizmima za rad sa šumom i vremenskim koracima, što je ključno za difuzione modele generisanja slika.