Kuidas erineb DiT (Diffusion Transformer) U-Net-ist difusioonis?

DiT (Diffusion Transformer) ja U-Net on arhitektuurid, mida kasutatakse difuusionimudelites piltide genereerimiseks, kuid need erinevad oluliselt struktuuri ja tööpõhimõtete poolest.

• U-Net on konvolutsiooniline närvivõrk, millel on sümmeetriline "kooder-dekooder" arhitektuur koos hüppeliside ühendustega (skip connections). See hästi haarab pildi lokaalseid ja kontekstuaalseid omadusi, mis on olulised detailide taastamiseks ja genereerimiseks.

• DiT kasutab transformeri arhitektuuri, mis töötab pildi kui järjestusena plastritest (sarnane Vision Transformerile). See võimaldab paremini modelleerida globaalseid sõltuvusi ja konteksti, mis võib parandada genereerimise kvaliteeti ja piltide mitmekesisust.

Peamised erinevused:

1. Arhitektuuri tüüp: U-Net — konvolutsiooniline, DiT — transformer.
2. Andmete töötlemine: U-Net töötab kogu pildiga konvolutsioonide kaudu, DiT jagab pildi plastriteks ja rakendab tähelepanu mehhanisme.
3. Võimed: DiT haarab paremini globaalseid seoseid, U-Net — lokaalseid detaile.

Näide lihtsustatud DiT struktuurist:

# DiT pseudokood
plastrid = jagada_pilt_plastriteks
embeddings = lineaarne_projektor(plastrid)
iga iga kiht — transformer kiht:
    embeddings = self_attention(kiht, embeddings)
taastatud_pilt = dekodeeri_plastrid(embeddings)

Seega on DiT katse rakendada transformerite eeliseid difuusiomudelites, samal ajal kui U-Net jääb klassikalise ja tõestatud lahenduse juurde, kasutades konvolutsioonivõrke.