Какъв вид U-Net се използва в Stable Diffusion? Какви са неговите особености в сравнение с обикновения U-Net?

В Stable Diffusion се използва модифицирана версия на архитектурата U-Net, адаптирана за задачи на дифузионно моделиране на изображения.

Характеристики на този U-Net в сравнение с класическия:

• Входни данни: Вместо обикновени изображения, се подава шумно изображение заедно с времеви стъпка на дифузия (ниво на шум), който се кодира и се подава към мрежата.
• Въвеждане на време: В архитектурата са добавени механизми за вземане под внимание на времевата стъпка (вграждане на време), което позволява на модела да взема предвид степента на шум.
• Използване на внимание: В някои слоеве на U-Net са добавени механизми за внимание (self-attention), което подобрява способността на модела да улавя глобални зависимости в изображението.
• Модифицирани блокове: Вместо стандартни конволюционни блокове се използват ResNet блокове с нормализация и активация, оптимизирани за стабилно обучение.

По този начин, U-Net в Stable Diffusion е специализирана архитектура, която съчетава класическата структура с допълнителни механизми за работа с шум и времеви стъпки, което е критично за дифузионните модели за генериране на изображения.