Kā atšķiras DiT (Diffusion Transformer) no U-Net difūzijā?

DiT (Diffusion Transformer) un U-Net ir ir arhitektūras, kas tiek izmantotas difūzijas modeļos attēlu ģenerēšanai, bet tās būtiski atšķiras pēc struktūras un darba principiem.

• U-Net ir konvolūcijas neironu tīkls ar simetrisku "kodētājs-izkodu** arhitektūru ar pārslēgšanas savienojumiem (skip connections). Tas labi uztver vietējos un kontekstus raksturojošos attēla īpašības, kas ir svarīgi detaļu atjaunošanai un ģenerēšanai.

• DiT izmanto transformatora arhitektūru, kas darbojas ar attēlu kā ar secību no plāksteriem (patches) (līdzīgi Vision Transformer). Tas ļauj labāk modelēt globālas atkarības un kontekstu, kas var uzlabot ģenerēšanas kvalitāti un attēlu daudzveidību.

Galvenās atšķirības:

1. Arhitektūras veids: U-Net — konvolūcijas, DiT — transformators.
2. Datu apstrāde: U-Net strādā ar visu attēlu caur konvolūcijām, DiT sadala attēlu plāksteros un izmanto uzmanības mehānismus.
3. Iespējas: DiT labāk uztver globālas saistības, U-Net — vietējos datus.

Vienkāršots DiT struktūras piemērs:

# DiT pseido-kods
plāksteri = sadalīt_attēlu_plāksteros
embedings = lineāra_projekcija(plāksteri)
katrā slānī — transformatora slāņi:
    embedings = self_attention(slānis, embedings)
rekonstruētais_attēls = dekodēt_plāksterus(embedings)

Tādējādi, DiT ir mēģinājums izmantot transformatoru priekšrocības difūzijas modeļos, kamēr U-Net paliek klasisks un pārbaudīts risinājums ar konvolūcijas tīkliem.