Aký je rozdiel medzi DiT (Diffusion Transformer) a U-Net v difúzii?

DiT (Diffusion Transformer) a U-Net sú architektúry používané v difúznych modeloch na generovanie obrázkov, ale výrazne sa líšia štruktúrou a princípmi fungovania.

• U-Net je konvolučná neurónová sieť so symetrickou architektúrou "kódovač-dekodač" s preskakovacími spojmi (skip connections). Dobre zachytáva lokálne a kontextové znaky obrázka, čo je dôležité pre obnovu a generovanie detailov.

• DiT využíva architektúru transformátora, ktorá pracuje s obrázkom ako so sekvenciou záplat (podobne ako Vision Transformer). To umožňuje lepšie modelovať globálne závislosti a kontext, čo môže zlepšiť kvalitu generovania a rozmanitosť obrázkov.

Hlavné rozdiely:

1. Typ architektúry: U-Net — konvolučná, DiT — transformátor.
2. Spracovanie dát: U-Net pracuje s celým obrázkom pomocou konvolúcií, DiT rozdeľuje obrázok na záplaty a aplikuje mechanizmy pozornosti.
3. Schopnosti: DiT lepšie zachytáva globálne vzťahy, U-Net lokálne detaily.

Príklad zjednodušenej štruktúry DiT:

# Pseudokód pre DiT
záplaty = rozdeľ_obrázok_na_záplaty(obrázok)
embeddingy = lineárna_projekcia(záplaty)
pre vrstvu v transformátorových vrstvách:
    embeddingy = self_attention(vrstva, embeddingy)
rekonštruovaný_obrázok = dekóduj_záplaty(embeddingy)

Týmto spôsobom je DiT pokusom o využitie výhod transformerov v difúznych modeloch, zatiaľ čo U-Net zostáva klasickým a overeným riešením s konvolučnými sieťami.