Ce tip de U-Net este folosit în Stable Diffusion? Care sunt caracteristicile sale în comparație cu U-Net-ul obișnuit?

În Stable Diffusion, se utilizează o versiune modificată a arhitecturii U-Net, adaptată pentru sarcini de modelare a difuziei imaginilor.

Caracteristicile acestui U-Net comparativ cu cel clasic:

• Date de intrare: În loc de imagini normale, se furnizează o imagine zgomotoasă împreună cu un pas temporal de difuzie (nivel de zgomot), care este codificat și introdus în rețea.
• Injecție temporală: Sunt adăugate mecanisme pentru luarea în considerare a pasului temporal (încapsulare temporală), ceea ce permite modelului să țină cont de gradul de zgomot.
• Utilizarea atenției: În unele straturi ale U-Net, au fost adăugate mecanisme de atenție (auto-atenție), ceea ce îmbunătățește capacitatea modelului de a captura dependențe globale în imagine.
• Blocuri modificate: În loc de blocuri convoluționale standard, se folosesc blocuri ResNet cu normalizare și activare, optimizate pentru un antrenament stabil.

Astfel, U-Net în Stable Diffusion este o arhitectură specializată care combină structura clasică cu mecanisme suplimentare pentru a lucra cu zgomotul și pașii temporali, ceea ce este critic pentru modelele de generare a imaginilor prin difuzie.